CN114079735A - 固定图像噪声的影像补偿系统 - Google Patents

固定图像噪声的影像补偿系统 Download PDF

Info

Publication number
CN114079735A
CN114079735A CN202010835564.2A CN202010835564A CN114079735A CN 114079735 A CN114079735 A CN 114079735A CN 202010835564 A CN202010835564 A CN 202010835564A CN 114079735 A CN114079735 A CN 114079735A
Authority
CN
China
Prior art keywords
pixel
gain
image
fixed image
image noise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010835564.2A
Other languages
English (en)
Other versions
CN114079735B (zh
Inventor
陈彦锋
黄文聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Realtek Semiconductor Corp
Original Assignee
Realtek Semiconductor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Realtek Semiconductor Corp filed Critical Realtek Semiconductor Corp
Priority to CN202010835564.2A priority Critical patent/CN114079735B/zh
Publication of CN114079735A publication Critical patent/CN114079735A/zh
Application granted granted Critical
Publication of CN114079735B publication Critical patent/CN114079735B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/677—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction for reducing the column or line fixed pattern noise

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

一种固定图像噪声的影像补偿系统，适用于一种4‑像元传感器，其能根据传感器以及镜头不对称性自动计算合适的固定图像噪声补偿参数。针对传感器或镜头的瑕疵可能造成的不对称的固定图像噪声，在系统运行的方法中，先将影像分割为多个网格，计算网格中各通道的像素平均值，根据以4‑像元传感器形成影像的特性，计算各像素的固定图像噪声补偿系数，当中可以外插与内插得到当前像素的补偿系数，即可以此校正影像中的固定图像噪声。

Description

固定图像噪声的影像补偿系统
技术领域
本发明提供一种影像补偿技术，特别是指针对产生固定图像噪声的影像传感器的一种影像补偿系统。
背景技术
影像中会发生一种固定图像噪声(fixed pattern noise，FPN)，原因之一是数字影像传感器(digital imaging sensor)在长时间曝光下在特定像素的位置容易产生相对于背景为较高亮度的噪声。以拍摄照片为例，即便是拍摄不同场景的影像，会在照片中固定位置发现到相对于背景亮度不同的噪声，这类噪声可分为两类：一类为暗信号非均匀性(Dark Signal Non-Uniformity，DSNU)，另一类为光响应非均匀性(Photo Response Non-Uniformity，PRNU)。所述暗信号非均匀性(DSNU)为是镜头遮黑后检测到的固定图像噪声(FPN)，而光响应非均匀性(PRNU)则是像素对光照的反应不一致所产生的固定图像噪声。
噪声的表示可以如：Pread＝gain×Preal+offset，”Pread”表示影像传感器检测到的像素值，“gain”表示为光响应非均匀性产生的噪声，“offset”表示暗信号非均匀性造成的噪声，整个方程式显示暗光环境下出现的固定图像噪声是计算偏差(offset)补回，而正常光源环境下出现的固定图像噪声是计算其中增益(gain)来校正。
然而，固定图像噪声可能有不对称(non-uniformity)的问题，例如，当影像捕获设备中的镜头及影像传感器较差时，会使固定图像噪声发生不对称的情况，固定图像噪声不对称并不限定于左右或是上下不对称时，严重时会使上下及左右都会产生固定图像噪声不对称的情况。
现有技术中存在一种影像补偿技术，可称固定图像噪声校正(fixed patternnoise correction，FPNC)，此基于网格的固定图像噪声校正技术是根据影像区域做补偿，然而，当发生下上不对称的情况时，仍会使整张影像留有残留固定图像噪声。
发明内容
本发明申请公开一种固定图像噪声的影像补偿系统，其中运行的方法可以软件或设在特定系统中的硬件所执行，以具有影像传感器的系统为例，光线经镜头接收与影像传感器处理后形成影像，系统中的处理电路即针对影像中固定图像噪声执行固定图像噪声的影像补偿方法。
所述固定图像噪声的影像补偿方法应用在一种4-像元传感器(4-cell sensor)，这是一种采用4-像元组形成各像素通道的影像传感器，所述方法可以根据影像传感器及镜头不对称性自动计算合适的固定图像噪声的补偿参数。
根据实施例，在所述影像补偿方法的主要流程中，分割所接收的影像为一个阵列形式的多个网格，其中每个网格包括多个4-像元组，每个4-像元组包括4个像元，而每个像元具有4个像素。之后计算每个网格中各通道的平均值，并得出每个4-像元组中各像素的像素平均值，使得可依据各网格的各通道的像素平均值与其中各像素的像素平均值的比例，计算影像中各像素的固定图像噪声补偿系数，能以各像素的固定图像噪声补偿系数乘上各像素的像素值，即完成固定图像噪声补偿。
优选地，所述影像中每个4-像元组的4个像元记载4-像元传感器通过四倍拜耳阵列滤光片产生的绿(Gr)、红(R)、蓝(B)与绿(Gb)通道值。
再者，在一种实施例中，在每个4-像元组的4个像元中包括有16个像素，其中每个像素的位置分别以位置索引值表示，而所述每个网格中通道的像素平均值为各网格内同一位置索引值的像素值加总后计算的平均值，形成各通道平均值。
优选地，执行影像的固定图像噪声补偿是以当前像素的像素值乘上当前像素的固定图像噪声补偿系数，还在应对不同光源强度时，引入调整参数以用于调整固定图像噪声补偿系数强度，得出调整后经固定图像噪声补偿的像素值。
进一步地，当完成固定图像噪声补偿后，继续检测影像中由绿色像素与上下或左右方向的绿色像素值差异产生的带状条纹，并进行自适应补偿的流程。
进一步地，还可以外插方式优化影像中位于边界的像素的固定图像噪声补偿系数，其中，在具有阵列形式的多个网格的影像的边界新增一行与一列，再利用外插方式得出位于边界的像素的固定图像噪声补偿系数。
进一步地，在一种实施例中，还以内插法得出当前像素的固定图像噪声补偿系数，其中先判断出该当前像素的多个邻近网格，再计算当前像素与各邻近网格中心点的距离，即根据当前像素与各邻近网格中心点的距离进行内插，得出当前像素的固定图像噪声补偿系数。
为使能更进一步了解本发明的特征及技术内容，请参阅以下有关本发明的详细说明与附图，然而所提供的附图仅用于提供参考与说明，并非用来对本发明加以限制。
附图说明
图1显示由分割影像得出的影像网格示意图；
图2显示以多个4-像元表示红绿蓝像素的示意图；
图3显示一个网格中具有多个4-像元组的实施例示意图；
图4显示固定图像噪声的影像补偿方法的实施例流程图；
图5显示固定图像噪声的影像补偿方法中针对边界像素补偿系数演算示意图；
图6显示在固定图像噪声的影像补偿方法中判断当前像素的邻近网格的实施例示意图；
图7A与图7B显示当前像素的垂直与水平方向上用来计算的像素示意图；
图8A与图8B显示用来校正带状条纹的像素示意图；
图9显示对绿色像素实施自适应补偿方法的实施例流程图；以及图10示意显示应用固定图像噪声的影像补偿方法的系统实施例图。
符号说明：
10：影像
30：网格
20：4-像元组
201：第一4-像元
202：第二4-像元
203：第三4-像元
204：第四4-像元
301：第一4-像元组
302：第二4-像元组
303：第三4-像元组
30：第四4-像元组
50：影像
601：当前像素
61：左上网格中心点
62：右上网格中心点
63：左下网格中心点
64：右下网格中心点
D1、D2、D3、D4：距离
100：系统
101：镜头
103：影像传感器
105：内存
107：处理电路
步骤S401～S413：固定图像噪声补偿流程
步骤S901～S907：对绿色像素实施自适应补偿的流
具体实施方式
以下是通过特定的具体实施例来说明本发明的实施方式，本领域技术人员可由本说明书所公开的内容了解本发明的优点与效果。本发明可通过其他不同的具体实施例加以施行或应用，本说明书中的各项细节也可基于不同观点与应用，在不悖离本发明构思的情况下进行各种修改与调整。另外，事先声明，本发明的附图仅为简单示意说明，并非依实际尺寸的描绘。以下的实施方式将进一步详细说明本发明的相关技术内容，但所公开的内容并非用以限制本发明的保护范围。
应当可以理解的是，虽然本文中可能会使用到“第一”、“第二”、“第三”等术语来描述各种组件或者信号，但这些组件或者信号不应受这些术语的限制。这些术语主要是用以区分一组件与另一组件，或者一信号与另一信号。另外，本文中所使用的术语“或”，应视实际情况可能包括相关联的列出项目中的任一个或者多个的组合。
由影像传感器形成的影像通常发生一种固定图像噪声(fixed pattern noise，FPN)，原因之一是数字影像传感器(digital imaging sensor)形成的影像在特定像素的位置产生相对于背景为较高亮度的噪声，形成固定图像噪声的原因常见为照相机中的镜头或影像传感器有瑕疵时在影像上形成的固定图像噪声。
本发明申请公开一种固定图像噪声的影像补偿系统，适用于发生在固定图像噪声(fixed pattern noise，FPN)的影像传感器上，实现固定图像噪声校正(fixed patternnoise correction，FPNC)的补偿办法，其中主要的机制是事先校正得出一组适合的固定图像噪声补偿系数，再以此校正好的补偿系数去做固定图像噪声补偿。
所述固定图像噪声的影像补偿系统中运行的影像补偿方法适用于补偿影像传感器所形成的影像，是一种基于网格(grid)的固定图像噪声校正的补偿方法，可对影像进行区域性补偿，可以解决噪声不对称的情况。
在固定图像噪声的影像补偿方法中，先取得均匀的影像，影像可先分割为”m×n”区块，可参考图1显示由分割影像得出的影像网格示意图，此例显示为高分为“m”个区段、宽分为“n”个区段所形成的”m×n”个区块的影像10，每个区块以网格30代表，每个网格20的大小为“p×q”。
每个网格30由多个4-像元组(4-cell group)所组成，这是根据本发明申请提出的固定图像噪声的影像补偿方法所适用的一种4-像元传感器(4-cell sensor)所定义的像素格式。在一种实施例中，4-像元传感器通过一种四倍拜耳阵列(quad Bayer array)滤光片形成如图2显示以多个4-像元表示红绿蓝像素的示意图，此例显示一个4-像元组(4-cellgroup)20中包括有第一4-像元201、第二4-像元202、第三4-像元203以及第四4-像元204，每个像素为描述整个影像的最小单元，图中数字0至15代表像素位置的位置索引值(positionindex)。此例中，每个4-像元组20由4个像素(pixel)组成，以红(Red)绿(Green)蓝(Blue)像素为例，第一4-像元201为绿色像素(Gr)、第二4-像元202为红色像素(R)、第三4-像元203为蓝色像素(B)，而第四4-像元204为绿色像素(Gb)。其中，第一4-像元201为邻近第二4-像元202的绿色像素，一般可表示为Gr；第四4-像元204为邻近第三4-像元203的绿色像素，可表示为Gb。
参考图3显示如图1显示的影像10中分割的每个网格30由多个4-像元组(如图2显示的4-像元组20)所组成的示意图，此例显示一个网格30由4个4-像元组(301,302,303,304)所组成，分别表示为第一4-像元组301、第二4-像元组302、第三4-像元组303以及第四4-像元组304。
其中每个4-像元组(301,302,303,304)都可以位置索引值0到15的像素表示，根据所述固定图像噪声的影像补偿方法的实施例，影像10经分割为多个网格30时，描述每个网格色彩的方式为将网格内同一位置索引值的像素值加总后计算出一个平均值(localAvg)，以能得出每个网格区块的补偿系数。
所述固定图像噪声的影像补偿方法可由软件程序、硬件或电路在系统中实现，可参考图10，系统100特别指设有影像传感器103以及相关组件的装置，系统100例如摄影装置，包括有镜头101、影像传感器103、内存105与处理电路107，系统100通过软件或硬件处理由影像传感器103取得的影像数据，还包括运行所述固定图像噪声的影像补偿方法的软件，或运行于处理电路107中的硬件执行所述固定图像噪声的影像补偿方法。
在所述影像补偿方法中，可事先校正合适的补偿系数，能以校正后的补偿系数补偿由影像传感器取得影像时所发生的固定图像噪声(FPN)，特别的是，所述方法为基于网格(grid)的补偿方法，可对影像进行区域性的固定图像噪声补偿。基于以上将影像网格化的前置作业，可参考图1、2、3等附图，方法流程可参考图4所示之实施例，其中步骤还可参考以下所公开的示意图。
当获得影像时，特别是一张正常光源下的均匀影像，将影像分割为阵列形式的矩形网格，具有如长宽为”m×n”的多个网格，如图1所示的网格30，每个网格30如图3显示，包括了多个4-像元组(4-cell group)，而每个4-像元组可以包括4个像元(Gr,Gb,R,B)，每个像元(cell)具有4个像素，因此4个像元(cell)即包括16个像素，如图2所示，每个像素的位置可分别以0至15位置索引值表示(步骤S401)。以方法应用的4-像元传感器为例，每个4-像元组的4个像元记载4-像元传感器通过所述四倍拜耳阵列(quad Bayer array)滤光片产生的绿(Gr)、红(R)、蓝(B)与绿(Gb)通道值。
经取得影像中各通道(R、G、B)中的像素值，可计算每个网格中各通道(channel)的像素平均值，根据实施例，可将网格内同一位置索引值的像素值加总后计算出平均值(localAvg)，各网格的各通道平均值分别表示为：BGridAvg(i,j)、RGridAvg(i,j)、GbGridAvg(i,j)以及GrGridAvg(i,j)，也就是每个网格可计算出通道B的平均值、通道G的平均值、通道Gb的平均值，以及通道Gr的平均值(步骤S403)，并且，也同时得出每个4-像元组中各像素的像素平均值：localAvg(i,j,k)，一个实施例可为像素所处通道的像素值(步骤S405)。其中(i,j)标示”m×n”阵列形式网格的每个网格位置，且1<＝i<＝m，1<＝j<＝n。例如BGridAvg(i,j)表示为第i列第j行的网格的蓝色通道值、RGridAvg(i,j)表示为第i列第j行的网格的红色通道值、GbGridAvg(i,j)以及GrGridAvg(i,j)即分别表示第i列第j行的网格的绿色通道值(Gr、Gb)，进一步地，’k’表示4-像元组中各像素的位置，即上述图例中的0至15位置索引值。
根据现有技术描述的固定图像噪声的表示如：Pread＝gain×Preal+offset，其中”Pread”表示影像传感器检测到的像素值，”offset”表示为光响应非均匀性产生的噪声(PRNU)，或暗信号非均匀性造成的噪声(DSNU)，在正常光源环境下出现的固定图像噪声是计算其中增益(gain，即所述方法中的固定图像噪声补偿系数)来校正。
根据以上取得影像中各网格的影像信息(BGridAvg(i,j)、RGridAvg(i,j)、GbGridAvg(i,j)、GrGridAvg(i,j)以及localAvg(i,j,k))，接着计算各像素(各通道(R,G,B))的固定图像噪声补偿系数(COEF)(步骤S407)，各通道固定图像噪声补偿系数(gain(i,j,k))计算公式如下。在此一提的是，根据如图2显示的实施例，第一4-像元201为绿色像素(Gr)，其中像素位置索引值(即’k’值)为0、1、4与5；第二4-像元202为红色像素(R)，其中像素位置索引值为2、3、6与7；第三4-像元203为蓝色像素(B)，其中像素位置索引值为8、9、12与13；而第四4-像元204为绿色像素(Gb)，其中像素位置索引值为10、11、14与15。
各像素固定图像噪声补偿系数(gain(i,j,k))计算如方程式一，方程式一表示网格中各点(像素)的补偿系数的依据是各网格的各通道平均值与其中各像素的像素平均值(localAvg(i,j,k))的比例。
方程式一：
gain(i,j,0)＝GrGridAvg(i,j)÷localAvg(i,j,0)
gain(i,j,1)＝GrGridAvg(i,j)÷localAvg(i,j,1)
gain(i,j,2)＝RGridAvg(i,j)÷localAvg(i,j,2)
gain(i,j,3)＝RGridAvg(i,j)÷localAvg(i,j,3)
gain(i,j,4)＝GrGridAvg(i,j)÷localAvg(i,j,4)
gain(i,j,5)＝GrGridAvg(i,j)÷localAvg(i,j,5)
gain(i,j,6)＝RGridAvg(i,j)÷localAvg(i,j,6)
gain(i,j,7)＝RGridAvg(i,j)÷localAvg(i,j,7)
gain(i,j,8)＝BGridAvg(i,j)÷localAvg(i,j,8)
gain(i,j,9)＝BGridAvg(i,j)÷localAvg(i,j,9)
gain(i,j,10)＝GbGridAvg(i,j)÷localAvg(i,j,10)
gain(i,j,11)＝GbGridAvg(i,j)÷localAvg(i,j,11)
gain(i,j,12)＝BGridAvg(i,j)÷localAvg(i,j,12)
gain(i,j,13)＝BGridAvg(i,j)÷localAvg(i,j,13)
gain(i,j,14)＝GbGridAvg(i,j)÷localAvg(i,j,14)
gain(i,j,15)＝GbGridAvg(i,j)÷localAvg(i,j,15)
以上方程序中，gain(i,j,k)为各网格(i,j)中4-像元组中各像素(位置’k’＝0～15)的固定图像噪声补偿系数，必要时可根据所要补偿的目标加入调整系数。方法到此步骤，可以经校正得出的各像素的固定图像噪声补偿系数乘上各像素的像素值，即完成以各像素的固定图像噪声补偿系数对输入影像执行固定图像噪声补偿。
进一步地，为了能补偿好各网格(大小为”p×q”)的边界像素，根据方程式一得出经过校正的固定图像噪声补偿系数，对边界像素的固定图像噪声补偿系数(gain)以外插方式优化影像边界的补偿系数(步骤S409)。所述边界像素如与上、下边界的距离小于p/2或与左、右边界距离小于q/2的像素点，示意图如图5。
为了优化边界像素补偿系数，根据图5所示示意图，在原本影像中阵列形式的多个网格的边界，即在分割为”m×n”个网格的影像边界外再新增行与列，使之成为”(m+2×(n+2)”个网格的影像50，也就是边界的像素的固定图像噪声补偿系数由外插得出，可以在应用时得到较好的补偿结果，各个边界与角落的像素的固定图像噪声同样是计算其中增益(gain(i,j,k)，其中’k’表示4-像元组中各像素的位置索引值)，所述固定图像噪声补偿系数如方程式二所示。
方程式二：
上边界：gain(0,j,k)＝2×gain(1,j,k)-gain(2,j,k)，其中1≤j≤n；
下边界：gain(m+1,j,k)＝2×gain(m,j,k)-gain(m-1,j,k)，其中1≤j≤n；
左边界：gain(i,0,k)＝2×gain(i,1,k)-gain(i,2,k)，其中1≤i≤m；
右边界：gain(i,n+1,k)＝2×gain(i,n,k)-gain(i,n-1,k)，其中1≤i≤m；
左上：gain(0,0,k)＝2×gain(1,1,k)-gain(2,2,k)
右上：gain(0,n+1,k)＝2×gain(1,n,k)-gain(2,n-1,k)
左下：gain(m+1,0,k)＝2×gain(m,1,k)-gain(m-1,2,k)
右下：gain(m+1,n+1,k)＝2×gain(m,n,k)-gain(m-1,n-1,k)
其中，’m’为该影像原本网格的高度、’n’为该影像原本网格的宽度、gain(i,j,k)为该影像中各像素固定图像噪声补偿系数，(i,j)为描述新增行与列后的网格位置，’k’为像元的位置索引值。
上述步骤描述影像中各像素的固定图像噪声补偿系数，以及利用所得出经过校正的固定图像噪声补偿系数继续优化边界像素的固定图像噪声补偿系数，接着，再利用所得出经过校正的固定图像噪声补偿系数对各像素进行加强补偿(步骤S411)。
在此步骤中，在逐一对每个像素进行固定图像噪声校正时，包括以内插方式取得当前像素的固定图像噪声补偿系数，在此内插方法中，先判断出当前像素的邻近网格，一般有多个邻近网格。示意图如图6，图6显示当前像素601坐标为(x,y)，当前像素601在某一网格中，其邻近网格以各自的中心点(或中心像素)代表，显示为左上网格中心点61(i1,j1)、右上网格中心点62(i2,j2)、左下网格中心点63(i3,j3)，以及右下网格中心点64(i4,j4)，分别为当前像素601所在位置的左上、右上、左下与右下的网格，此例显示i1＝2、j1＝3、i2＝2、j2＝4、i3＝3、j3＝3、i4＝3，以及j4＝4。
为了要通过内插法得出当前像素601的补偿系数，即计算当前像素601与邻近网格中心点(61,62,63,64)的距离，包括当前像素601与左上和右上网格(中心点或中心像素)的垂直距离(D1)、当前像素601与左下和右下网格的垂直距离(D2)、当前像素601与左上和左下网格的水平距离(D3)，以及当前像素601与右上和右下网格的水平距离(D4)。
如此，即根据当前像素601与邻近网格中心点(61,62,63,64)的距离(D1,D2,D3,D4)进行内插，内插法算式的实施例如方程式三，根据距离做双线性内插，得出当前像素的补偿系数。
方程式三：
gain_intp(k)＝(D2/(D1+D2))×(D4/(D3+D4))×gain(i1,j1,k)+(D2/(D1+D2))×(D3/(D3+D4))×gain(i2,j2,k)+(D1/(D1+D2))×(D4/(D3+D4))×gain(i3,j3,k)+(D1/(D1+D2))×(D3/(D3+D4))×gain(i4,j4,k)。
其中，gain_intp(k)为以内插法得出该当前像素的固定图像噪声补偿系数，gain(i1,j1,k)、gain(i2,j2,k)、gain(i3,j3,k)以及gain(i4,j4,k)为该当前像素邻近网格中心像素的固定图像噪声补偿系数。
当以内插法得出当前像素的固定图像噪声补偿系数(gain_intp(k))，即可使用此补偿系数执行固定图案噪声补偿，如方程式四，其中CP_ori(x,y)为当前像素的像素值，乘上当前像素的固定图像噪声补偿系数(gain_intp(k))，即完成固定图像噪声的动作。再者，方程式四还引入’adjust_rate’参数，在应对不同光源强度时，可用来调整固定图像噪声补偿系数强度，也就是当前像素的像素值乘上补偿系数(gain_intp(k))以及调整参数(adjust_rate)，即得出经调整并以固定图案噪声补偿系数补偿后的像素值(CP(x,y))。
方程式四：
CP(x,y)＝CP_ori(x,y)×gain_intp×adjust_rate
当完成以上步骤，即针对各像素完成固定图像噪声补偿后，仍可能在部分区域出现带状条纹(stripe)影像。根据观察，所述带状条纹判断是因为影像中绿色像素与两个方向(上下或左右)的差值有明显落差时，会产生这类条纹状影像，因此在所述固定图像噪声的影像补偿方法中，对此现象提出针对绿色像素实施自适应补偿的措施(步骤S413)。
根据固定图像噪声的影像补偿方法，为了要解决绿色像素在影像中两个方向(上下或左右)的差值产生的带状条纹的问题，应先检测影像中是否具有带状条纹，可参考图7A与图7B显示当前像素的垂直与水平方向上用来计算的像素示意图，相关方法可同时参考图9所示对绿色像素实施自适应补偿方法的实施例流程图。
首先，要检测带状条纹，可参考图7A，先各自计算当前绿色像素邻近(如最接近的其他绿色像素)垂直方向的P1col、P0col、Q0col与Q1col的绿色像素平均值，以及图7B显示的离近水平方向的P1row、P0row、Q0row与Q1row的绿色像素平均值(步骤S901)。如图7A所示影像中特定位置的4-像元组中4-像元的示意图，图中主要显示了网格中4-像元中的绿色像素，如其中G01表示在第0列(row)第1行(column)的绿色像素、G23表示第2列第3行的绿色像素，其余可以此类推。
根据图7A显示的图例，当前像素点(绿色)是G22、G23、G32或G33时，会使用相同垂直方向上的邻近绿色像素的像素平均值P1col、P0col、Q0col以及Q1col，各垂直方向的绿色像素平均值如方程式五所示。
方程式五：
Figure BDA0002639558510000101
Figure BDA0002639558510000102
Figure BDA0002639558510000103
Figure BDA0002639558510000104
再以图7B为例，当前像素点同样是G22、G23、G32或G33，使用了水平方向上的邻近绿色像素的像素平均值(P1row、P0row、Q0row以及Q1row)，各水平方向的绿色像素平均值如方程式六所示。
方程式六：
Figure BDA0002639558510000105
Figure BDA0002639558510000106
Figure BDA0002639558510000107
Figure BDA0002639558510000108
取得所示范例中当前绿色像素的垂直与水平绿色像素平均值之后，接着计算各当前点像素的上(U)下(D)左(L)右(R)方向用来校正的像素值(步骤S903)，范例可参考图8A与图8B显示用来校正带状条纹的像素示意图。
以图中所示计算当前绿色像素上下左右邻近用来校正的绿色像素值为例，若当前绿色像素(Gcur)为G22时，其左方(L)那行(含绿色像素G11与G41)用来校正的像素值为：
Figure BDA0002639558510000109
G22右方(R)用来校正的绿色像素为G23的像素值：
R=G23
G22上方(U)那行(含绿色像素G11与G14)用来校正的像素值为：
Figure BDA00026395585100001010
G22下方(D)用来校正的绿色像素为G32的像素值：
D=G32
若当前绿色像素(Gcur)为G23时，其左方(L)用来校正的绿色像素为G22的像素值：
L=G22
G23右方(R)那行(含绿色像素G14与G44)用来校正的像素值为：
Figure BDA0002639558510000111
G23上方(U)那行(含绿色像素G11与G14)用来校正的像素值为：
Figure BDA0002639558510000112
G23下方(D)用来校正的绿色像素为G32的像素值：
D=G32
若当前绿色像素(Gcur)为G32时，其左方(L)那行(含绿色像素G11与G41)用来校正的像素值为：
Figure BDA0002639558510000113
G32右方(R)用来校正的绿色像素为G33的像素值：
R=G33
G32上方(U)用来校正的绿色像素为G22的像素值：
U=G22
G32下方(D)那行(含绿色像素G41与G44)用来校正的像素值为：
Figure BDA0002639558510000114
再者，若当前绿色像素(Gcur)为G33时，其左方(L)用来校正的绿色像素为G32的像素值：
L=G32
G33右方(R)那行(含绿色像素G14与G44)用来校正的像素值为：
Figure BDA0002639558510000115
G33上方(U)用来校正的绿色像素为G23的像素值：
U=G23
G33下方(D)那行(含绿色像素G41与G44)用来校正的像素值为：
Figure BDA0002639558510000116
根据以上范例，如方程式五与方程式六，得出当前绿色像素(如G22、G23、G32或G33)邻近垂直方向的绿色像素的像素平均值(P1col、P0col、Q0col以及Q1col)，以及水平方向邻近绿色像素的像素平均值(P1row、P0row、Q0row以及Q1row)，参考图7A与图7B，使得可以根据所述4个水平方向与4个垂直方向的像素(如绿色)平均值差异来检测是否有边缘以及检查平坦度，以判断影像中的带状条纹(步骤S905)。
为了检测带状条纹，包括有3个判断步骤，首先，根据这些邻近垂直方向像素平均值的差异比对第一行门坎(THCOL1)，以及用水平方向像素平均值的差异比对第一列门坎(THROW1)，根据这个比对结果(FLAGCOL1、FLAGROW1)判断检测当前绿色像素是否处于边缘处(edge detection)。判断垂直与水平方向的边缘的算式如方程式七(其中’Bool’指的是布尔运算)。
方程式七：(用以检测边缘)
Bool FLAGCOL1＝|P1col+P0col-Q0col-Q1col|＜THCOL1
Bool FLAGROW1＝|P1row+P0row-Q0row-Q1row|＜THROW1
接着判断当前绿色像素附近的垂直与水平方向的平坦度(flatness)，先参考方程式八，参考图7A与图7B，得出邻近垂直方向的像素(绿色)平均值的差异，再比对第二行门坎(THCOL2)，以邻近水平方向的像素平均值比对第二列门坎(THROW2)，比对结果(FLAGCOL2、FLAGROW2)可知当前像素附近的平坦度。其中，邻近垂直方向像素平均值差异小于门坎值，判断为平坦；邻近水平方向像素平均值差异小于门坎值，也判断为平坦。
方程式八：(检查平坦度)
Bool FLAGCOL2＝|P1col-P0col|＜THCOL2
Bool FLAGROW2＝|P1row-P0row|＜THROW2
方程式九同样表示当前绿色像素邻近垂直方向与水平方向的像素平均值的差异，经分别比对第三行门坎(THCOL3)与第三列门坎(THROW3)，比对结果(FLAGCOL3、FLAGROW3)用以判断当前像素附近的平坦度，判断式如方程式九。
方程式九：(检查平坦度)
Bool FLAGCOL3＝|Q0col-Q1col|＜THCOL3
Bool FLAGROW3＝|Q0row-Q1row|＜THROW3
接着，根据以上垂直方向边缘检测结果与平坦度信息(FLAGCOL1、FLAGROW1、FLAGCOL2、FLAGROW2、FLAGCOL3、FLAGROW3)判断垂直或/与水平方向是否具有带状条纹(步骤S905)，相关判断式如方程式十。
方程式十：
Bool FLAGCOL＝FLAGCOL1&&FLAGCOL2&&FLAGCOL3
Bool FLAGROW＝FLAGROW1&&FLAGROW2&&FLAGROW3
依照方程式十，根据本发明申请公开的内容，可进一步针对所判断的垂直或/与水平方向的带状条纹的几种情况计算绿色像素补偿值，以当前像素的上下左右方向用来校正的像素值补偿当前像素的像素值(步骤S907)。
其中，情况一：当FLAGCOL与FLAGROW成立('&&’为’AND’运算符(operator))，且当前像素并不是水平边也不是垂直边，表示水平、垂直皆有带状条纹，这时如方程式十一，引入上述实施例得出的当前绿色像素(Gcur)上下左右邻近用来校正的绿色像素值，以得出的固定图像噪声补偿系数(COEF)校正当前绿色像素，校正后绿色像素可以
Figure BDA0002639558510000131
表示。
方程式十一：(L表示左方用来校正的绿色像素像素值、R表示右方用来校正的绿色像素像素值、U表示上方用来校正的绿色像素像素值，以及D表示下方用来校正的绿色像素像素值)
Figure BDA0002639558510000132
情况二：上述判断不成立时，当FLAGCOL成立且当前像素不在水平边，代表有垂直带状条纹，此时演算方程式十二，引入当前像素左方(L)与右方(R)用来校正的像素值，以及图4显示流程得出的固定图像噪声补偿系数(COEF)，以校正当前绿色像素，校正后绿色像素可以
Figure BDA0002639558510000133
表示。
方程式十二：
Figure BDA0002639558510000134
情况三：上述两判断皆不成立时，但当FLAGROW成立且当前像素不在垂直边，代表有水平带状条纹，此时演算方程式十三，引入当前像素上方(U)与下方(D)用来校正的像素值，以得出的固定图像噪声补偿系数(COEF)校正当前绿色像素，校正后绿色像素可以
Figure BDA0002639558510000135
表示。
方程式十三：
Figure BDA0002639558510000136
情况四：当上述三判断皆不成立，代表没有检测到带状条纹。
综上所述，根据以上所述固定图像噪声的影像补偿系统的实施例，方法应用于如图10显示的系统中，光线经镜头101接收与影像传感器103处理后形成影像，其中处理电路107针对影像中固定图像噪声执行上述实施例所描述的影像补偿方法，所述基于网格(grid)的补偿方法可取得影像分割后的网格的补偿系数，对影像进行区域性补偿，还可针对绿色像素进行自适应补偿。方法可应用在一种4-Cell传感器，这是一种采用4-像元组形成各像素通道的影像传感器，所述方法可以根据影像传感器及镜头不对称性自动计算合适的固定图像噪声的补偿参数。
以上所公开的内容仅为本发明的优选的可行实施例，并非因此用于限定本发明的保护范围，所以凡是运用本发明说明书及附图内容所做的等效技术变化，均包含在本发明的保护范围内。本技术领域普通技术人员可依据本发明申请的明示或隐含内容对本发明申请技术特征施以变化，凡此种种变化均属于本发明申请要求保护的范围之内，换言之，本发明申请的专利保护范围须视本发明申请的权利要求书的界定范围为准。

Claims (10)

1.一种固定图像噪声的影像补偿系统，其特征在于，所述影像补偿系统包括：
影像传感器；以及
处理电路，在接收影像后，执行固定图像噪声的影像补偿方法，所述补偿方法包括：
分割所述影像为阵列形式的多个网格，其中每个网格包括多个4-像元组，每个4-像元组包括4个像元，而每个像元具有4个像素；
计算每个网格中各通道的像素平均值；
得出每个4-像元组中各像素的像素平均值；
依据各网格的各通道的像素平均值与其中各像素的像素平均值的比例，计算所述影像中各像素的固定图像噪声补偿系数；以及
执行该影像的固定图像噪声补偿，其中以各像素的固定图像噪声补偿系数乘上各像素的像素值，即完成固定图像噪声补偿。
2.如权利要求1所述的固定图像噪声的影像补偿系统，其特征在于，所述影像传感器为4-像元传感器，所形成的所述影像中每个4-像元组的4个像元记载通过四倍拜耳阵列滤光片产生的绿(Gr)、红(R)、蓝(B)与绿(Gb)通道值。
3.如权利要求2所述的固定图像噪声的影像补偿系统，其特征在于，在所述影像中每个4像元组的4个像元中包括有16个像素，其中每个像素的位置分别以位置索引值表示，而所述每个网格中通道的像素平均值为各网格内同一位置索引值的像素值加总后计算的平均值，形成各通道平均值。
4.如权利要求3所述的固定图像噪声的影像补偿系统，其特征在于，在所执行的固定图像噪声的影像补偿方法中，各网格的各通道平均值分别表示为：BGridAvg(i,j)、RGridAvg(i,j)、GbGridAvg(i,j)以及GrGridAvg(i,j)，也同时得出所述每个4-像元组中各像素的像素平均值，表示为：localAvg(i,j,k)，其中(i,j)标示每个网格的位置，k表示所述4-像元组中各像素的位置，k为0至15位置索引值，其中各像素的固定图像噪声补偿系数(gain(i,j,k))计算方程式为：
gain(i,j,0)＝GrGridAvg(i,j)÷localAvg(i,j,0)
gain(i,j,1)＝GrGridAvg(i,j)÷localAvg(i,j,1)
gain(i,j,2)＝RGridAvg(i,j)÷localAvg(i,j,2)
gain(i,j,3)＝RGridAvg(i,j)÷localAvg(i,j,3)
gain(i,j,4)＝GrGridAvg(i,j)÷localAvg(i,j,4)
gain(i,j,5)＝GrGridAvg(i,j)÷localAvg(i,j,5)
gain(i,j,6)＝RGridAvg(i,j)÷localAvg(i,j,6)
gain(i,j,7)＝RGridAvg(i,j)÷localAvg(i,j,7)
gain(i,j,8)＝BGridAvg(i,j)÷localAvg(i,j,8)
gain(i,j,9)＝BGridAvg(i,j)÷localAvg(i,j,9)
gain(i,j,10)＝GbGridAvg(i,j)÷localAvg(i,j,10)
gain(i,j,11)＝GbGridAvg(i,j)÷localAvg(i,j,11)
gain(i,j,12)＝BGridAvg(i,j)÷localAvg(i,j,12)
gain(i,j,13)＝BGridAvg(i,j)÷localAvg(i,j,13)
gain(i,j,14)＝GbGridAvg(i,j)÷localAvg(i,j,14)
gain(i,j,15)＝GbGridAvg(i,j)÷localAvg(i,j,15)。
5.如权利要求1所述的固定图像噪声的影像补偿系统，其特征在于，执行所述影像的固定图像噪声补偿是以所述当前像素的像素值(CP_ori(x,y))乘上所述当前像素的固定图像噪声补偿系数(gain_intp)，还在应对不同光源强度时，引入adjust_rate参数以用于调整固定图像噪声补偿系数强度，得出调整后经固定图像噪声补偿的像素值(CP(x,y))，方程式为：
CP(x,y)＝CP_ori(x,y)×gain_intp×adjust_rate。
6.如权利要求1所述的固定图像噪声的影像补偿系统，其特征在于，在所执行的所述固定图像噪声的影像补偿方法中，当完成固定图像噪声补偿后，继续检测所述影像中由绿色像素与上下或左右方向的绿色像素值差异产生的带状条纹，并进行自适应补偿的流程，包括：
计算当前绿色像素邻近垂直方向的绿色像素平均值，以及邻近水平方向的绿色像素平均值；
计算所述当前点像素的上(U)下(D)左(L)右(R)方向用来校正的像素值；
根据所述当前绿色像素邻近的4个水平方向与4个垂直方向的像素平均值差异检测是否有边缘以及平坦度，以判断是否所述影像中垂直与水平方向的带状条纹；以及
根据判断的带状条纹，以所述当前像素的上下左右方向用来校正的像素值补偿所述当前像素的像素值。
7.如权利要求1至6中任一项所述的固定图像噪声的影像补偿系统，其特征在于，在所执行的所述固定图像噪声的影像补偿方法中，还以外插方式优化所述影像中位于边界的像素的固定图像噪声补偿系数，其中，在具有所述阵列形式的多个网格的所述影像的边界新增一行与一列，利用所述外插方式得出位于边界的像素的固定图像噪声补偿系数。
8.如权利要求7所述的固定图像噪声的影像补偿系统，其特征在于，针对位于边界的像素以外插方式得出固定图像噪声补偿系数的方程式为：
上边界：gain(0,j,k)＝2×gain(1,j,k)-gain(2,j,k)，其中1≤j≤n；
下边界：gain(m+1,j,k)＝2×gain(m,j,k)-gain(m-1,j,k)，其中1≤j≤n；
左边界：gain(i,0,k)＝2×gain(i,1,k)-gain(i,2,k)，其中1≤i≤m；
右边界：gain(i,n+1,k)＝2×gain(i,n,k)-gain(i,n-1,k)，其中1≤i≤m；
左上：gain(0,0,k)＝2×gain(1,1,k)-gain(2,2,k)
右上：gain(0,n+1,k)＝2×gain(1,n,k)-gain(2,n-1,k)
左下：gain(m+1,0,k)＝2×gain(m,1,k)-gain(m-1,2,k)
右下：gain(m+1,n+1,k)＝2×gain(m,n,k)-gain(m-1,n-1,k)
其中，m为所述影像原本的高度、n为所述影像原本的宽度、gain(i,j,k)为所述影像中各像素固定图像噪声补偿系数，(i,j)为描述新增行与列后的网格位置，k为像素的位置索引值。
9.如权利要求1至6中任一项所述的固定图像噪声的影像补偿系统，其特征在于，在所执行的所述固定图像噪声的影像补偿方法中，还包括以内插法得出当前像素的固定图像噪声补偿系数，其中先判断出所述当前像素的多个邻近网格，再计算所述当前像素与各邻近网格中心点的距离，即根据所述当前像素与各邻近网格中心点的距离进行内插，得出所述当前像素的固定图像噪声补偿系数。
10.如权利要求9所述的固定图像噪声的影像补偿系统，其特征在于，所述当前像素与左上和右上网格的垂直距离为D1、所述当前像素与左下和右下网格的垂直距离为D2、所述当前像素与左上和左下网格的水平距离为D3，以及所述当前像素与右上和右下的水平距离为D4，所述内插法的算式为：
gain_intp(k)＝(D2/(D1+D2))×(D4/(D3+D4))×gain(i1,j1,k)+(D2/(D1+D2))×(D3/(D3+D4))×gain(i2,j2,k)+(D1/(D1+D2))×(D4/(D3+D4))×gain(i3,j3,k)+(D1/(D1+D2))×(D3/(D3+D4))×gain(i4,j4,k)；
其中，gain_intp(k)为以内插法得出所述当前像素的固定图像噪声补偿系数，gain(i1,j1,k)、gain(i2,j2,k)、gain(i3,j3,k)以及gain(i4,j4,k)为所述当前像素邻近网格中心像素的固定图像噪声补偿系数。
CN202010835564.2A 2020-08-19 2020-08-19 固定图像噪声的影像补偿系统 Active CN114079735B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010835564.2A CN114079735B (zh) 2020-08-19 2020-08-19 固定图像噪声的影像补偿系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010835564.2A CN114079735B (zh) 2020-08-19 2020-08-19 固定图像噪声的影像补偿系统

Publications (2)

Publication Number Publication Date
CN114079735A true CN114079735A (zh) 2022-02-22
CN114079735B CN114079735B (zh) 2024-02-23

Family

ID=80282016

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010835564.2A Active CN114079735B (zh) 2020-08-19 2020-08-19 固定图像噪声的影像补偿系统

Country Status (1)

Country Link
CN (1) CN114079735B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115375590A (zh) * 2022-10-27 2022-11-22 之江实验室 一种亮度非均匀性在线补偿的图像处理方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7304670B1 (en) * 1997-03-28 2007-12-04 Hand Held Products, Inc. Method and apparatus for compensating for fixed pattern noise in an imaging system
CN101455074A (zh) * 2006-05-24 2009-06-10 汤姆森特许公司 读出和复位图像传感器的像素的电路和方法
CN101449958A (zh) * 2007-12-05 2009-06-10 Hoya株式会社 噪声降低系统,内窥镜处理器和内窥镜系统
US20100246949A1 (en) * 2009-03-25 2010-09-30 Altek Corporation Compensation method for removing image noise
CN102006399A (zh) * 2009-09-03 2011-04-06 华晶科技股份有限公司 消除图像噪声的方法,以及使用该方法的装置
US8310577B1 (en) * 1999-08-19 2012-11-13 Youliza, Gehts B.V. Limited Liability Company Method and apparatus for color compensation
US20130021484A1 (en) * 2011-07-20 2013-01-24 Broadcom Corporation Dynamic computation of lens shading
US20130321671A1 (en) * 2012-05-31 2013-12-05 Apple Inc. Systems and method for reducing fixed pattern noise in image data
US20130321672A1 (en) * 2012-05-31 2013-12-05 Apple Inc. Systems and methods for collecting fixed pattern noise statistics of image data
CN104125420A (zh) * 2013-04-26 2014-10-29 联咏科技股份有限公司 固定样式噪声移除方法
TW201442516A (zh) * 2013-04-18 2014-11-01 Novatek Microelectronics Corp 固定樣式雜訊移除方法
US20170206689A1 (en) * 2016-01-14 2017-07-20 Raontech, Inc. Image distortion compensation display device and image distortion compensation method using the same

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7304670B1 (en) * 1997-03-28 2007-12-04 Hand Held Products, Inc. Method and apparatus for compensating for fixed pattern noise in an imaging system
US8310577B1 (en) * 1999-08-19 2012-11-13 Youliza, Gehts B.V. Limited Liability Company Method and apparatus for color compensation
CN101455074A (zh) * 2006-05-24 2009-06-10 汤姆森特许公司 读出和复位图像传感器的像素的电路和方法
CN101449958A (zh) * 2007-12-05 2009-06-10 Hoya株式会社 噪声降低系统,内窥镜处理器和内窥镜系统
US20100246949A1 (en) * 2009-03-25 2010-09-30 Altek Corporation Compensation method for removing image noise
CN102006399A (zh) * 2009-09-03 2011-04-06 华晶科技股份有限公司 消除图像噪声的方法,以及使用该方法的装置
US20130021484A1 (en) * 2011-07-20 2013-01-24 Broadcom Corporation Dynamic computation of lens shading
US20130321671A1 (en) * 2012-05-31 2013-12-05 Apple Inc. Systems and method for reducing fixed pattern noise in image data
US20130321672A1 (en) * 2012-05-31 2013-12-05 Apple Inc. Systems and methods for collecting fixed pattern noise statistics of image data
TW201442516A (zh) * 2013-04-18 2014-11-01 Novatek Microelectronics Corp 固定樣式雜訊移除方法
CN104125420A (zh) * 2013-04-26 2014-10-29 联咏科技股份有限公司 固定样式噪声移除方法
US20170206689A1 (en) * 2016-01-14 2017-07-20 Raontech, Inc. Image distortion compensation display device and image distortion compensation method using the same

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王华;曹剑中;王华伟;郭惠楠;赵晓冬;刘广森;: "基于估计方法的CMOS图像传感器列固定模式噪声校正方法", 红外与激光工程, no. 07 *
陈昭;赵苏艳;: "盲环境下稀疏编码监控视频图像降噪仿真", 计算机仿真, no. 03 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115375590A (zh) * 2022-10-27 2022-11-22 之江实验室 一种亮度非均匀性在线补偿的图像处理方法

Also Published As

Publication number Publication date
CN114079735B (zh) 2024-02-23

Similar Documents

Publication Publication Date Title
US6724945B1 (en) Correcting defect pixels in a digital image
EP3804294B1 (en) Hdr image generation from single-shot hdr color image sensors
CN108760767B (zh) 基于机器视觉的大尺寸液晶屏缺陷检测方法
CN110650334B (zh) 坏点检测、校正方法及装置、存储介质、终端
US10044952B2 (en) Adaptive shading correction
US20090290037A1 (en) Selection of an optimum image in burst mode in a digital camera
US8588521B2 (en) Image processing apparatus and control method therefor
JP2009065671A (ja) 色の補間方法、色補間装置およびコンピュータプログラム
TWI449027B (zh) 適應性畫素補償方法
CN112351195B (zh) 图像处理方法、装置和电子系统
US8189077B2 (en) Method for reducing smear effect of dynamic image
CN114757853B (zh) 平场校正函数的获取方法及系统、平场校正方法及系统
TW201411554A (zh) 修正一影像系統之暈影的方法及裝置
CN107248147B (zh) Raw-rgb图像中坏点消除的方法
CN112788322B (zh) 自适应白平衡处理方法、装置、介质及电子设备
CN114079735B (zh) 固定图像噪声的影像补偿系统
TWI774039B (zh) 固定圖像雜訊的影像補償系統
CN111353960B (zh) 一种基于区域生长与交叉通道信息的图像紫边校正方法
TWI670708B (zh) 顏色偏移校正方法及裝置
CN112085803B (zh) 一种多镜头多探测器拼接式相机颜色一致性处理方法
KR101327790B1 (ko) 영상 보간 방법 및 장치
CN101489142B (zh) 数字影像的彩色插补方法
CN115720299A (zh) 黑电平校正方法及装置、计算机可读存储介质、终端
US7656441B2 (en) Hue correction for electronic imagers
US7912313B2 (en) Shading noise filter

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant