CN115272135B - 一种单帧图片降噪并消除图片伪彩的方法 - Google Patents
一种单帧图片降噪并消除图片伪彩的方法 Download PDFInfo
- Publication number
- CN115272135B CN115272135B CN202211178115.0A CN202211178115A CN115272135B CN 115272135 B CN115272135 B CN 115272135B CN 202211178115 A CN202211178115 A CN 202211178115A CN 115272135 B CN115272135 B CN 115272135B
- Authority
- CN
- China
- Prior art keywords
- channel
- correction value
- pixel
- value
- channels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000001914 filtration Methods 0.000 claims abstract description 162
- 238000012937 correction Methods 0.000 claims abstract description 118
- 239000011159 matrix material Substances 0.000 claims abstract description 41
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000003708 edge detection Methods 0.000 claims abstract description 20
- 238000013507 mapping Methods 0.000 claims description 24
- 230000001629 suppression Effects 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 10
- 230000002146 bilateral effect Effects 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 150000001875 compounds Chemical class 0.000 claims description 5
- 230000004075 alteration Effects 0.000 claims description 4
- 230000009467 reduction Effects 0.000 abstract description 22
- 230000000694 effects Effects 0.000 abstract description 14
- 230000008030 elimination Effects 0.000 abstract 1
- 238000003379 elimination reaction Methods 0.000 abstract 1
- 230000009466 transformation Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 3
- 230000005764 inhibitory process Effects 0.000 description 3
- 238000005034 decoration Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 101150050759 outI gene Proteins 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种单帧图片降噪并消除图片伪彩的方法，包括：步骤1：对单帧图片进行边缘检测；步骤2：对步骤1所得图片进行处理，得到学习步长矩阵；步骤3：对单帧图片的每个通道分别进行滤波，结合学习步长矩阵，得到单通道滤波修正值；步骤4：选取单帧图片的两通道，根据两通道之间的局部关系进行滤波，结合学习步长矩阵，得到通道协同滤波修正值；步骤5：根据步骤3和步骤4得到的修正值，对单帧图片中各像素点的RGB三通道值进行修正；步骤6：重复步骤1至步骤5，直至步骤3和步骤4得到的通道协同滤波修正值分别低于阈值。通过本方法能达到优质的降噪效果，且能达到优质的消除伪彩效果。
Description
技术领域
本发明涉及一种图像处理方法，具体涉及一种图像降噪和去伪彩的方法。
背景技术
数字图像采集是利用摄像头等传感器将光信号转化成电信号并用数字形式进行存储、传输和显示。数字图像处理是将采集的数字图像针对使用目的和场景进行处理优化，其中常见的方法包括：图像增强和复原、图像编码压缩、图像描述等。
图像的降噪是图像增强和复原中十分重要的一项内容，其广泛应用于车载影像、监控摄像头等诸多领域。目前，主流的降噪一般有两种方式。一种是采用空域降噪，通常称为2DNR，即在一帧图片内，针对噪点不同于图像信息的特征，采用滤波的方式降低噪声的信息量。这种方式的优点是只需要保存一帧图片，对存储空间占用少，缺点是噪点比较多时降噪效果不佳，区分噪点在数学上变得困难，而为了达到降噪效果，往往会对图像造成模糊。另一种是采用时域降噪，通常成为3DNR，即在连续多帧图片内，针对噪点是随机出现的特征，采用多帧图片的信息加权处理的方法降低噪声在图像中的比重，同时通过运动估计来弥补多帧图像中运动物体带来的信息差异。这种方式的优点是比空域降噪效果好，缺点是对存储空间、处理器计算能力、算法设计要求高，同时，不适用于只获取了单帧图片的情形。
图片的伪彩现象是指图片由于光电信号的干扰、不当的去马赛克插值、不同光线折射率不同造成的偏移等一系列原因造成的图片中出现现实中不存在的彩色信号的情况。
目前对于此类情况的主要解决方法是根据不同的原因采取相应的解决方法。例如，不当的去马赛克插值采用改进算法，如加入边缘检测、纹理检测、色彩插值的方式解决。对于不同光线折射率的问题，采取色彩矫正方法（CAC），根据镜头参数在去马赛克之前对Bayer数据进行矫正。对于光电信号的干扰造成的彩色问题，则需要通过降噪算法解决。
以上方法一般可以较好的解决相应伪彩问题，但也存在其局限性。首先，这些方法需要在Bayer域上进行，已经转化为RGB格式的图像还原到原Bayer域上进行处理只能进行下采样，可能会损失很多信息。其次，这些算法依赖设备的参数，需要基于设备具有的光学性质进行处理，这些条件有时难以满足。另外，这些算法各不相同，需要依据实际情况进行具体分析，可移植性差。
如今，图像处理在智能汽车、智能家居、智能监控等诸多领域发挥着越来越重要的作用，也对图像的质量提出了更高的要求。处理各种不同来源，同时可能存在各种不同问题的图像也是一个常见的需求。3D降噪的高成本要求，意味着更好的2D降噪能减少3D叠加帧数的需求，节省运算资源。因此，一种既能对图片进行有效的2D降噪，又能消除伪彩的方法具有实用价值。
发明内容
发明目的：针对上述现有技术，提出一种单帧图片降噪并消除图片伪彩的方法，既能对图片进行有效的2D降噪，又能消除图片伪彩情况。
技术方案：一种单帧图片降噪并消除图片伪彩的方法，包括：
步骤1：对所述单帧图片进行边缘检测；
步骤2：对步骤1所得图片进行处理，得到学习步长矩阵；
步骤3：对所述单帧图片的每个通道分别进行滤波，结合所述学习步长矩阵，得到单通道滤波修正值；
步骤4：选取所述单帧图片的两通道，根据两通道之间的局部关系进行滤波，结合所述学习步长矩阵，得到通道协同滤波修正值；
步骤5：根据步骤3和步骤4得到的修正值，对所述单帧图片中各像素点的RGB三通道值进行修正；
步骤6：重复步骤1至步骤5，直至步骤3得到的单通道滤波修正值和步骤4得到的通道协同滤波修正值分别低于对应的阈值。
进一步的，所述步骤2包括如下步骤：
通过单调映射，将步骤1完成边缘检测后输出的图片映射到区间[0,1]之间；然后对映射结果做高斯滤波以及γ变换，再用数值1分别减去变换处理后图中各点的值，得到各点的边缘抑制参数L0，并设置学习步长L1，0<L1<0.25；各点的边缘抑制参数L0与学习步长L1相乘即得到所述学习步长矩阵。
进一步的，所述步骤3中，所述单调映射选取经平移和缩放的sigmoid函数σ1(x)或tanh函数σ2(x)：
其中，x为图片中每个点的边缘强度值，θ是调节参数。
进一步的，所述步骤2中，如果图像边缘处存在伪彩现象，则用方差σ>1的高斯滤波核，且γ<1；如果图像边缘无异常，则采用方差σ<1的高斯滤波核，且γ>1。
进一步的，所述步骤3中，采用高斯滤波或双边滤波，记此时滤波的通道为D，滤波前像素点的像素值为d0，滤波后的像素值为d1，则单通道滤波修正值Δd0为：
Δd0=L0*L1*(d1-d0)
根据上式，所述单帧图片中各像素点RGB三通的单通道滤波修正值分别记为Δr0、Δg0、 Δb0。
进一步的，所述步骤4中，依次选取红绿，绿蓝，蓝红通道；对于选取的通道，记作PQ通道，P通道和Q通道之间在局部应满足线性关系：P=k*Q+b，其中k表示色比，b表示色差，P表示P通道的像素值，Q表示Q通道的像素值；
步骤4包括如下步骤：
步骤4.1：对于所述单帧图片中的每个像素点，用以该像素点为中心的图像块估计两通道之间的局部线性关系，用最小二乘法解出该像素点最优的k和b，即：
其中，图像块的大小为n*n像素；Pij表示图像块中坐标为(i,j)的像素点的P通道像素值，Qij表示图像块中坐标为(i,j)的像素点的Q通道像素值，
表示图像块的P通道像素值的均值，
表示图像块的Q通道像素值的均值；
在对每个像素点进行估计计算后，得到系数k和b对应的矩阵K、B；
步骤4.2：通过对矩阵K和矩阵B做均值滤波或高斯滤波来修正k和b的值；
步骤4.3：对于所述单帧图片中的每个像素点，记该像素点的P通道像素值为p，记该像素点的Q通道像素值为q，计算该像素点的P通道协同滤波修正值∆p以及Q通道协同滤波修正值∆q：
∆p=L0*L1*(k*q+b-p)
∆q=L0*L1*((p-b)/k-q)
依次选取的红绿，绿蓝，蓝红通道根据步骤4.1至步骤4.3对应得到红绿通道的红通道协同滤波修正值∆r+和绿通道协同滤波修正值∆g-，绿蓝通道的绿通道协同滤波修正值∆g+和蓝通道协同滤波修正值∆b-，蓝红通道的蓝通协同滤波道修正值∆b+和红通道协同滤波修正值∆r-。
进一步的，所述步骤4中，依次选取红绿，绿蓝，蓝红通道；对于选取的通道，记作PQ通道，P通道和Q通道之间应满足局部色差关系：P=Q+b，其中b为色差，P表示P通道的像素值，Q表示Q通道的像素值；
步骤4包括如下步骤：
步骤4.1：对于所述单帧图片中的每个像素点，用以该像素点为中心的图像块估计两通道之间的局部色差关系：
其中，图像块的大小为n*n像素；
表示图像块的P通道像素值的均值，
表示图像块的Q通道像素值的均值；
在对每个像素点进行估计计算后，得到色差b对应的矩阵B；
步骤4.2：通过对矩阵B做均值滤波或高斯滤波来修正b的值；
步骤4.3：对于所述单帧图片中的每个像素点，记该像素点的P通道像素值为p，记该像素点的Q通道像素值为q，计算该像素点的P通道协同滤波修正值∆p以及Q通道协同滤波修正值∆q：
∆p=L0*L1*(q+b-p)
∆q=L0*L1*(p-b-q)
依次选取的红绿，绿蓝，蓝红通道分别根据步骤4.1至步骤4.3对应得到红绿通道的红通道协同滤波修正值∆r+和绿通道协同滤波修正值∆g-，绿蓝通道的绿通道协同滤波修正值∆g+和蓝通道协同滤波修正值∆b-，蓝红通道的蓝通道协同滤波修正值∆b+和红通道协同滤波修正值∆r-。
进一步的，所述步骤4中，依次选取红绿，绿蓝，蓝红通道；对于选取的通道，记作PQ通道，P通道和Q通道之间应满足局部色比关系：P=k*Q，其中k为色比，P表示P通道的像素值，Q表示Q通道的像素值；
步骤4包括如下步骤：
步骤4.1：对于所述单帧图片中的每个像素点，用以该像素点为中心的图像块估计两通道之间的局部色比关系：
其中，图像块的大小为n*n像素；
表示图像块的P通道像素值的均值，
表示图像块的Q通道像素值的均值；
在对每个像素点进行估计计算后，得到色比k对应的矩阵K；
步骤4.2：通过对矩阵K做均值滤波或高斯滤波来修正k的值；
步骤4.3：对于图片中的每个像素点，记该像素点的P通道像素值为p，记该像素点的Q通道像素值为q，计算该像素点的P通道协同滤波修正值∆p以及Q通道协同滤波修正值∆q：
∆p=L0*L1*(k*q-p)
∆q=L0*L1*(p/k-q)
依次选取的红绿，绿蓝，蓝红通道根据步骤4.1至步骤4.3对应得到红绿通道的红通道协同滤波修正值∆r+和绿通道协同滤波修正值∆g-，绿蓝通道的绿通道协同滤波修正值∆g+和蓝通道协同滤波修正值∆b-，蓝红通道的蓝通道协同滤波修正值∆b+和红通道协同滤波修正值∆r-。
进一步的，所述步骤5中，按下式对所述单帧图片中各像素点的RGB三通道值进行修正：
式中，
、
、
分别为修正后的RGB三通道值，r、g、b分别为原始RGB三通道值； Δr0、Δg0、Δb0为步骤3得到的单通道滤波修正值，分别对应RGB三通道。
有益效果：本发明针对图像处理领域的降噪要求和对不同图像伪彩问题解决的要求，考虑到不同颜色通道的相关性和相邻像素点的相似性，采用了空域滤波和学习算法结合的总体思路，其具有如下有益效果：
1. 利用三通道协同降噪代替单通道降噪。由于RGB三通道的颜色信号数值不同，现有的主流的2D降噪算法一般对三个通道分别计算。但实际的图像三通道结构具有很大的相似性。本发明方法利用这一相似性，能够从图片中提取了更多的信息，从而得到对目标图片更准确的估计。单帧图片三通道的值有自然的对应关系，本方法实现了对单帧图片进行3D降噪，而不同于一般的3D降噪，不需要进行运动估计消耗大量算力。同时，本方法可以和单通道的2D降噪算法很好地结合。
2. 利用颜色相关性对伪彩现象进行处理，同时将色差或色比关系推广到线性关系。色差或色比假设是图像处理中的一个假设。其假设相近位置的像素点不同通道之间的差值或比值相同。线性关系式是比色差和色比关系更一般的假设，适用于更多情况。利用这一关系，可以将相邻的像素点修正为色度相近的颜色，从而消除图片中的伪彩问题。
3. 本方法将作用域从bayer域推广到RGB域。本方法为了解决伪彩问题无法还原到bayer域上处理的问题，在RGB域上进行。此外，色差或色比法通常用于从bayer域到RGB域转换的去马赛克过程，但这一假设在RGB域上也适用。
4. 引入了机器学习的方法。利用合适的学习步长，使三通道的值逐渐逼近并收敛到相邻点具有十分接近的线性关系，即通过循环直到通道修正值低于阈值。
5.对边缘区域做特殊处理。鉴于边缘不同侧的色彩关系不同，通过在边缘附近抑制学习步长，可以达到防止模糊边缘的效果。
附图说明
图1为本发明方法流程图；
图2为实施例1中待处理图像；
图3为图2经过现有常规的双边滤波处理后得到的图像；
图4为图2使用实施例1方法但未对边缘进行抑制处理得到的图片；
图5为图2通过实施例1完整方法处理后的图片。
具体实施方式
下面结合附图对本发明做更进一步的解释。
实施例1：
如图1所示，一种单帧图片降噪并消除图片伪彩的方法，包括：
步骤1：对单帧图片进行边缘检测。
步骤2：对完成图像边缘检测后输出的图片进行处理，得到学习步长矩阵，具体包括如下步骤：
通过单调映射，将步骤1完成边缘检测后输出的图片映射到区间[0,1]之间，由此得到一个和原始单帧图像大小相同的图像I。其中，单调映射选取经平移和放缩的sigmoid函数σ1(x)或tanh函数σ2(x)：
其中，x为图片中每个点的边缘强度值；θ是调节参数，对于不同的边缘检测方法，其尺度不同，对应的θ取值范围也不同。例如，为适应高噪声图片，使用基于方差的方式进行边缘检测，此时x的数量级一般在102-103，θ在[50，200]中取值效果较好，而对于常用的canny算法，其计算得到的边缘强度值一般在[0,0.2]内，θ在[0.01,0.1]中取值效果较好。
对映射结果做高斯滤波以及γ变换，如果图像边缘处存在彩边现象，则用方差σ>1的高斯滤波核，且γ<1，用于降低对边缘的抑制，更好地解决伪彩问题；如果图像边缘无异常，则采用方差σ<1的高斯滤波核，且γ>1，用于抑制对边缘的模糊。然后再用数值1分别减去变换处理后图中各点的值，得到各点的边缘抑制参数L0，并与设置的学习步长L1相乘得到实际学习步长，0<L1<0.25。各点的边缘抑制参数L0与学习步长L1相乘即得到学习步长矩阵。
其中，对映射结果做高斯滤波，可以抑制边缘附近的学习步长，再通过γ变换，即通过指数映射y=xγ，可以使抑制率整体提高或降低。由此，可以得到一个[0,1]上，只在边缘附近大于0，边缘处接近1，其余位置接近0的图像。
步骤3：对单帧图片的每个通道分别进行滤波，结合学习步长矩阵，得到单通道滤波修正值。
一般所选的方式为高斯滤波或双边滤波。记此时滤波的通道为D，滤波前像素点的像素值为d0，滤波后的像素值为d1，则单通道滤波修正值Δd0为：
Δd0=L0*L1*(d1-d0)
根据上式，单帧图片中各像素点RGB三通的单通道滤波修正值分别记为Δr0、Δg0、Δb0。
步骤4：选取单帧图像的两通道，根据两通道之间的局部线性关系进行滤波，结合学习步长矩阵，得到通道协同滤波修正值。
步骤4包括如下步骤：
步骤4.1：为保证对称性，依次选取红绿，绿蓝，蓝红通道。对于选取的通道，两个通道之间应满足线性关系。以红绿通道为例，红通道和绿通道的像素值分别记为R和G，则两通道之间的局部线性关系应满足：R=k*G+b，其中k表示色比，b表示色差。对于选取的通道，对原始单帧图片中的每个像素点，用以该像素点为中心的一块图像块估计两通道之间的局部线性关系，用最小二乘法可以解出每个像素点最优的k和b，即：
其中，图像块的大小为n*n像素，n一般取为3,5,7；Rij表示图像块中坐标为(i,j)的像素点的R通道像素值，Gij表示图像块中坐标为(i,j)的像素点的G通道像素值，
表示图像块的R通道像素值的均值，
表示图像块的G通道像素值的均值。
在对每个像素点进行估计计算后，得到系数k和b对应的矩阵K、B。
步骤4.2：通过对矩阵K和矩阵B做均值滤波或高斯滤波来修正k和b的值。
步骤4.3：对于单帧图片中的每个像素点，记该像素点的R通道像素值为r，记该像素点的G通道像素值为g，计算该像素点的R通道像素修正值∆r以及G通道像素修正值∆g：
∆r+=L0*L1*(k*g+b-r)
∆g-=L0*L1*((r-b)/k-g)
其中，0<L0<1，0<L1<0.25，若L1>0.25会导致不收敛。
依次选取的红绿，绿蓝，蓝红通道根据步骤4.1至步骤4.3对应得到红绿通道的红通道协同滤波修正值∆r+和绿通道协同滤波修正值∆g-，绿蓝通道的绿通道协同滤波修正值∆g+和蓝通道协同滤波修正值∆b-，蓝红通道的蓝通协同滤波道修正值∆b+和红通道协同滤波修正值∆r-。
步骤5：根据步骤3和步骤4得到的修正值，按下式对原始单帧图片中各像素点的RGB三通道值进行修正。
式中，
、
、
分别为修正后的RGB三通道值，r、g、b分别为原始RGB三通道值。
步骤6：重复步骤1至步骤5，直至步骤3得到的单通道滤波修正值和步骤4得到的通道协同滤波修正值分别低于对应的阈值。这两处阈值通常作用于修正值平方的均值，其根据所需的降噪强度和所能承受的资源消耗一般对8比特数据取1-5。
如图2、图3、图4、图5所示，图2是未经降噪处理的图片，为便于观察，通过γ矫正提高了亮度。其实际拍摄于极暗条件下，捕捉到图像信息的同时产生了大量表现为彩色的噪声。图3是经过一般的双边滤波处理后得到的图像，可以看到虽然已经使图像变得很模糊，细节破坏严重，但仍呈现出彩色，效果并不理想。图4是使用本方法，但未对边缘进行抑制处理得到的图片，可以看出，其很好地消除了伪彩问题，对边缘有一定程度的破坏，但不如一般的双边滤波严重。图5则是通过完整的本方法处理的图片，不仅有很好的滤波效果，也很大程度保留了边缘。
实施例2：
如图1所示，一种单帧图片降噪并消除图片伪彩的方法，包括：
步骤1：对单帧图片进行边缘检测。
步骤2：对完成图像边缘检测后输出的图片进行处理，得到学习步长矩阵，具体包括如下步骤：
通过单调映射，将步骤1完成边缘检测后输出的图片映射到区间[0,1]之间，由此得到一个和原始单帧图像大小相同的图像I。其中，单调映射选取经平移和放缩的sigmoid函数σ1(x)或tanh函数σ2(x)：
其中，x为图片中每个点的边缘强度值；θ是调节参数，对于不同的边缘检测方法，其尺度不同，对应的θ取值范围也不同。例如，为适应高噪声图片，使用基于方差的方式进行边缘检测，此时x的数量级一般在102-103，θ在[50，200]中取值效果较好，而对于常用的canny算法，其计算得到的边缘强度值一般在[0,0.2]内，θ在[0.01,0.1]中取值效果较好。
对映射结果做高斯滤波以及γ变换，如果图像边缘处存在彩边现象，则用方差σ>1的高斯滤波核，且γ<1，用于降低对边缘的抑制，更好地解决伪彩问题；如果图像边缘无异常，则采用方差σ<1的高斯滤波核，且γ>1，用于抑制对边缘的模糊。然后再用数值1分别减去变换处理后图中各点的值，得到各点的边缘抑制参数L0，并与设置的学习步长L1相乘得到实际学习步长，0<L1<0.25。各点的边缘抑制参数L0与学习步长L1相乘即得到学习步长矩阵。
其中，对映射结果做高斯滤波，可以抑制边缘附近的学习步长，再通过γ变换，即通过指数映射y=xγ，可以使抑制率整体提高或降低。由此，可以得到一个[0,1]上，只在边缘附近大于0，边缘处接近1，其余位置接近0的图像。
步骤3：对单帧图片的每个通道分别进行滤波，结合学习步长矩阵，得到单通道滤波修正值。
一般所选的方式为高斯滤波或双边滤波。记此时滤波的通道为D，滤波前像素点的像素值为d0，滤波后的像素值为d1，则单通道滤波修正值Δd0为：
Δd0=L0*L1*(d1-d0)
根据上式，单帧图片中各像素点RGB三通的单通道滤波修正值分别记为Δr0、Δg0、Δb0。
步骤4：选取单帧图像的两通道，根据两通道之间的局部关系进行滤波，结合学习步长矩阵，得到通道协同滤波修正值。
步骤4包括如下步骤：
步骤4.1：为保证对称性，依次选取红绿，绿蓝，蓝红通道。以红绿通道为例，红通道和绿通道的像素值分别记为R和G，则两通道之间应满足局部色差关系：R=G+b，其中b表示色差。对原始单帧图片中的每个像素点，用以该像素点为中心的一块图像块估计两通道之间的局部关系：
其中，图像块的大小为n*n像素，n一般取为3,5,7；
表示图像块的R通道像素值的均值，
表示图像块的G通道像素值的均值；
在对每个像素点进行估计计算后，得到色差b对应的矩阵B。
步骤4.2：通过对矩阵B做均值滤波或高斯滤波来修正b的值。
步骤4.3：对于单帧图片中的每个像素点，记该像素点的R通道像素值为r，记该像素点的G通道像素值为g，计算该像素点的R通道像素修正值∆r以及G通道像素修正值∆g：
∆r+=L0*L1*(g+b-r)
∆g-=L0*L1*(r-b-g)
其中，0<L0<1，0<L1<0.25，若L1>0.25会导致不收敛。
依次选取的红绿，绿蓝，蓝红通道根据步骤4.1至步骤4.3对应得到红绿通道的红通道协同滤波修正值∆r+和绿通道协同滤波修正值∆g-，绿蓝通道的绿通道协同滤波修正值∆g+和蓝通道协同滤波修正值∆b-，蓝红通道的蓝通协同滤波道修正值∆b+和红通道协同滤波修正值∆r-。
步骤5：根据步骤3和步骤4得到的修正值，按下式对原始单帧图片中各像素点的RGB三通道值进行修正。
式中，
、
、
分别为修正后的RGB三通道值，r、g、b分别为原始RGB三通道值。
步骤6：重复步骤1至步骤5，直至步骤3得到的单通道滤波修正值和步骤4得到的通道协同滤波修正值分别低于对应的阈值。这两处阈值通常作用于修正值平方的均值，根据所需的降噪强度和所能承受的资源消耗一般对8比特数据取1-5。
实施例3：
如图1所示，一种单帧图片降噪并消除图片伪彩的方法，包括：
步骤1：对单帧图片进行边缘检测。
步骤2：对完成图像边缘检测后输出的图片进行处理，得到学习步长矩阵，具体包括如下步骤：
通过单调映射，将步骤1完成边缘检测后输出的图片映射到区间[0,1]之间，由此得到一个和原始单帧图像大小相同的图像I。其中，单调映射选取经平移和放缩的sigmoid函数σ1(x)或tanh函数σ2(x)：
其中，x为图片中每个点的边缘强度值；θ是调节参数，对于不同的边缘检测方法，其尺度不同，对应的θ取值范围也不同。例如，为适应高噪声图片，使用基于方差的方式进行边缘检测，此时x的数量级一般在102-103，θ在[50，200]中取值效果较好，而对于常用的canny算法，其计算得到的边缘强度值一般在[0,0.2]内，θ在[0.01,0.1]中取值效果较好。
对映射结果做高斯滤波以及γ变换，如果图像边缘处存在彩边现象，则用方差σ>1的高斯滤波核，且γ<1，用于降低对边缘的抑制，更好地解决伪彩问题；如果图像边缘无异常，则采用方差σ<1的高斯滤波核，且γ>1，用于抑制对边缘的模糊。然后再用数值1分别减去变换处理后图中各点的值，得到各点的边缘抑制参数L0，并与设置的学习步长L1相乘得到实际学习步长，0<L1<0.25。各点的边缘抑制参数L0与学习步长L1相乘即得到学习步长矩阵。
其中，对映射结果做高斯滤波，可以抑制边缘附近的学习步长，再通过γ变换，即通过指数映射y=xγ，可以使抑制率整体提高或降低。由此，可以得到一个[0,1]上，只在边缘附近大于0，边缘处接近1，其余位置接近0的图像。
步骤3：对单帧图片的每个通道分别进行滤波，结合学习步长矩阵，得到单通道滤波修正值。
一般所选的方式为高斯滤波或双边滤波。记此时滤波的通道为D，滤波前像素点的像素值为d0，滤波后的像素值为d1，则单通道滤波修正值Δd0为：
Δd0=L0*L1*(d1-d0)
根据上式，单帧图片中各像素点RGB三通的单通道滤波修正值分别记为Δr0、Δg0、Δb0。
步骤4：选取单帧图像的两通道，根据两通道之间的局部关系进行滤波，结合学习步长矩阵，得到通道协同滤波修正值。
步骤4包括如下步骤：
步骤4.1：为保证对称性，依次选取红绿，绿蓝，蓝红通道。以红绿通道为例，红通道和绿通道的像素值分别记为R和G，则两通道之间应满足局部色比关系：R=k*G，其中k为色比。对原始单帧图片中的每个像素点，用以该像素点为中心的一块图像块估计两通道之间的局部关系：
其中，图像块的大小为n*n像素，n一般取为3,5,7；
表示图像块的R通道像素值的均值，
表示图像块的G通道像素值的均值；
在对每个像素点进行估计计算后，得到色比k对应的矩阵K。
步骤4.2：通过对矩阵K做均值滤波或高斯滤波来修正k的值。
步骤4.3：对于单帧图片中的每个像素点，记该像素点的R通道像素值为r，记该像素点的G通道像素值为g，计算该像素点的R通道像素修正值∆r以及G通道像素修正值∆g：
∆r+=L0*L1*(k*g-r)
∆g-=L0*L1*(r/k-g)
其中，0<L0<1，0<L1<0.25，若L1>0.25会导致不收敛。
依次选取的红绿，绿蓝，蓝红通道根据步骤4.1至步骤4.3对应得到红绿通道的红通道协同滤波修正值∆r+和绿通道协同滤波修正值∆g-，绿蓝通道的绿通道协同滤波修正值∆g+和蓝通道协同滤波修正值∆b-，蓝红通道的蓝通协同滤波道修正值∆b+和红通道协同滤波修正值∆r-。
步骤5：根据步骤3和步骤4得到的修正值，按下式对原始单帧图片中各像素点的RGB三通道值进行修正。
式中，
、
、
分别为修正后的RGB三通道值，r、g、b分别为原始RGB三通道值。
步骤6：重复步骤1至步骤5，直至步骤3得到的单通道滤波修正值和步骤4得到的通道协同滤波修正值分别低于对应的阈值。这两处阈值通常作用于修正值平方的均值，根据所需的降噪强度和所能承受的资源消耗一般对8比特数据取1-5。
实施例2和实施例3是实施例1中通道之间的局部线性关系的两种简化形式，即退化为色差和色比关系。实施例2假设只有色差关系，即两通道相邻点差值相同，即认为k=1，
；实施例3假设只有色比关系，即认为
，b=0。实施例2和实施例3相对于实施例1来说，需要占用的时间和空间资源更少，但效果不如实施例1。特别地，为简化计算，实施例2和实施例3的两种情况可以取只对单点进行计算，即取1x1的图像块。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (4)
1.一种单帧图片降噪并消除图片伪彩的方法，其特征在于，包括：
步骤1：对所述单帧图片进行边缘检测；
步骤2：对步骤1所得图片进行处理，得到学习步长矩阵；
步骤3：对所述单帧图片的每个通道分别进行滤波，结合所述学习步长矩阵，得到单通道滤波修正值；
步骤4：选取所述单帧图片的两通道，根据两通道之间的局部关系进行滤波，结合所述学习步长矩阵，得到通道协同滤波修正值；
步骤5：根据步骤3和步骤4得到的修正值，对所述单帧图片中各像素点的RGB三通道值进行修正；
步骤6：重复步骤1至步骤5，直至步骤3得到的单通道滤波修正值和步骤4得到的通道协同滤波修正值分别低于对应的阈值；
所述步骤3中，采用高斯滤波或双边滤波，记此时滤波的通道为D，滤波前像素点的像素值为d0，滤波后的像素值为d1，则单通道滤波修正值Δd0为：
Δd0=L0*L1*(d1-d0)
根据上式，所述单帧图片中各像素点RGB三通的单通道滤波修正值分别记为Δr0、Δg0、Δb0；
所述步骤4中，依次选取红绿，绿蓝，蓝红通道；对于选取的通道，记作PQ通道，P通道和Q通道之间在局部应满足线性关系：P=k*Q+b，其中k表示色比，b表示色差，P表示P通道的像素值，Q表示Q通道的像素值；
步骤4包括如下步骤：
步骤4.1：对于所述单帧图片中的每个像素点，用以该像素点为中心的图像块估计两通道之间的局部线性关系，用最小二乘法解出该像素点最优的k和b，即：
其中，图像块的大小为n*n像素；Pij表示图像块中坐标为(i,j)的像素点的P通道像素值，Qij表示图像块中坐标为(i,j)的像素点的Q通道像素值，
表示图像块的P通道像素值的均值，
表示图像块的Q通道像素值的均值；
在对每个像素点进行估计计算后，得到系数k和b对应的矩阵K、B；
步骤4.2：通过对矩阵K和矩阵B做均值滤波或高斯滤波来修正k和b的值；
步骤4.3：对于所述单帧图片中的每个像素点，记该像素点的P通道像素值为p，记该像素点的Q通道像素值为q，计算该像素点的P通道协同滤波修正值∆p以及Q通道协同滤波修正值∆q：
∆p=L0*L1*(k*q+b-p)
∆q=L0*L1*((p-b)/k-q)
依次选取的红绿，绿蓝，蓝红通道根据步骤4.1至步骤4.3对应得到红绿通道的红通道协同滤波修正值∆r+和绿通道协同滤波修正值∆g-，绿蓝通道的绿通道协同滤波修正值∆g+和蓝通道协同滤波修正值∆b-，蓝红通道的蓝通协同滤波道修正值∆b+和红通道协同滤波修正值∆r-；
所述步骤4中，依次选取红绿，绿蓝，蓝红通道；对于选取的通道，记作PQ通道，P通道和Q通道之间应满足局部色差关系：P=Q+b，其中b为色差，P表示P通道的像素值，Q表示Q通道的像素值；
步骤4包括如下步骤：
步骤4.1：对于所述单帧图片中的每个像素点，用以该像素点为中心的图像块估计两通道之间的局部色差关系：
其中，图像块的大小为n*n像素；
表示图像块的P通道像素值的均值，
表示图像块的Q通道像素值的均值；
在对每个像素点进行估计计算后，得到色差b对应的矩阵B；
步骤4.2：通过对矩阵B做均值滤波或高斯滤波来修正b的值；
步骤4.3：对于所述单帧图片中的每个像素点，记该像素点的P通道像素值为p，记该像素点的Q通道像素值为q，计算该像素点的P通道协同滤波修正值∆p以及Q通道协同滤波修正值∆q：
∆p=L0*L1*(q+b-p)
∆q=L0*L1*(p-b-q)
依次选取的红绿，绿蓝，蓝红通道分别根据步骤4.1至步骤4.3对应得到红绿通道的红通道协同滤波修正值∆r+和绿通道协同滤波修正值∆g-，绿蓝通道的绿通道协同滤波修正值∆g+和蓝通道协同滤波修正值∆b-，蓝红通道的蓝通道协同滤波修正值∆b+和红通道协同滤波修正值∆r-；
所述步骤4中，依次选取红绿，绿蓝，蓝红通道；对于选取的通道，记作PQ通道，P通道和Q通道之间应满足局部色比关系：P=k*Q，其中k为色比，P表示P通道的像素值，Q表示Q通道的像素值；
步骤4包括如下步骤：
步骤4.1：对于所述单帧图片中的每个像素点，用以该像素点为中心的图像块估计两通道之间的局部色比关系：
其中，图像块的大小为n*n像素；
表示图像块的P通道像素值的均值，
表示图像块的Q通道像素值的均值；
在对每个像素点进行估计计算后，得到色比k对应的矩阵K；
步骤4.2：通过对矩阵K做均值滤波或高斯滤波来修正k的值；
步骤4.3：对于图片中的每个像素点，记该像素点的P通道像素值为p，记该像素点的Q通道像素值为q，计算该像素点的P通道协同滤波修正值∆p以及Q通道协同滤波修正值∆q：
∆p=L0*L1*(k*q-p)
∆q=L0*L1*(p/k-q)
依次选取的红绿，绿蓝，蓝红通道根据步骤4.1至步骤4.3对应得到红绿通道的红通道协同滤波修正值∆r+和绿通道协同滤波修正值∆g-，绿蓝通道的绿通道协同滤波修正值∆g+和蓝通道协同滤波修正值∆b-，蓝红通道的蓝通道协同滤波修正值∆b+和红通道协同滤波修正值∆r-；
所述步骤5中，按下式对所述单帧图片中各像素点的RGB三通道值进行修正：
式中，
、
、
分别为修正后的RGB三通道值，r、g、b分别为原始RGB三通道值；Δr0、Δg0、Δb0为步骤3得到的单通道滤波修正值，分别对应RGB三通道。
2.根据权利要求1所述的单帧图片降噪并消除图片伪彩的方法，其特征在于，所述步骤2包括如下步骤：
通过单调映射，将步骤1完成边缘检测后输出的图片映射到区间[0,1]之间；然后对映射结果做高斯滤波以及γ变换，再用数值1分别减去变换处理后图中各点的值，得到各点的边缘抑制参数L0，并设置学习步长L1，0<L1<0.25；各点的边缘抑制参数L0与学习步长L1相乘即得到所述学习步长矩阵。
3.根据权利要求2所述的单帧图片降噪并消除图片伪彩的方法，其特征在于，所述单调映射选取经平移和缩放的sigmoid函数σ1(x)或tanh函数σ2(x)：
其中，x为图片中每个点的边缘强度值，θ是调节参数。
4.根据权利要求2所述的单帧图片降噪并消除图片伪彩的方法，其特征在于，所述步骤2中，如果图像边缘处存在伪彩现象，则用方差σ>1的高斯滤波核，且γ<1；如果图像边缘无异常，则采用方差σ<1的高斯滤波核，且γ>1。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211178115.0A CN115272135B (zh) | 2022-09-27 | 2022-09-27 | 一种单帧图片降噪并消除图片伪彩的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211178115.0A CN115272135B (zh) | 2022-09-27 | 2022-09-27 | 一种单帧图片降噪并消除图片伪彩的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115272135A CN115272135A (zh) | 2022-11-01 |
| CN115272135B true CN115272135B (zh) | 2022-12-20 |
Family
ID=83756767
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211178115.0A Active CN115272135B (zh) | 2022-09-27 | 2022-09-27 | 一种单帧图片降噪并消除图片伪彩的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115272135B (zh) |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103595981B (zh) * | 2013-10-25 | 2015-09-30 | 西安电子科技大学 | 基于非局部低秩的色彩滤波阵列图像去马赛克方法 |
| CN111986120A (zh) * | 2020-09-15 | 2020-11-24 | 天津师范大学 | 一种基于帧累加和多尺度Retinex的低光照图像增强优化方法 |
-
2022
- 2022-09-27 CN CN202211178115.0A patent/CN115272135B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN115272135A (zh) | 2022-11-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhou et al. | Auto color correction of underwater images utilizing depth information | |
| TWI407800B (zh) | 馬賽克影像的改良處理 | |
| CN102769722B (zh) | 时域与空域结合的视频降噪装置及方法 | |
| US8295595B2 (en) | Generating full color images by demosaicing noise removed pixels from images | |
| US8457433B2 (en) | Methods and systems for image noise filtering | |
| CN103327220B (zh) | 低照度Bayer图像上以绿色通道为导向的去噪方法 | |
| CN111510691B (zh) | 颜色插值方法及装置、设备、存储介质 | |
| CN110730336B (zh) | 一种去马赛克方法及装置 | |
| WO2011152174A1 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| CN111784603A (zh) | 一种raw域图像去噪方法、计算机装置及计算机可读存储介质 | |
| CN111539893A (zh) | 一种基于导向滤波的Bayer图像联合去马赛克去噪方法 | |
| CN109816608B (zh) | 一种基于噪声抑制的低照度图像自适应亮度增强方法 | |
| US11481873B2 (en) | Method and apparatus for image processing | |
| CN110852953B (zh) | 图像插值方法及装置、存储介质、图像信号处理器、终端 | |
| TWI423666B (zh) | Image elimination method for image sequence | |
| WO2008119228A1 (en) | Low complexity color de-noising filter | |
| CN112215767A (zh) | 一种抗块效应的图像视频增强方法 | |
| US8385671B1 (en) | Digital camera and method | |
| CN103747222A (zh) | 一种图像假色抑制的方法及装置 | |
| CN116503259B (zh) | 一种马赛克插值方法和系统 | |
| CN115272135B (zh) | 一种单帧图片降噪并消除图片伪彩的方法 | |
| CN101778297B (zh) | 影像序列的干扰消除方法 | |
| Kim et al. | Color interpolation algorithm for the Sony-RGBW color filter array | |
| CN115471420A (zh) | 图像处理装置、成像设备、方法、电子设备及存储介质 | |
| CN115034985A (zh) | 一种水下图像增强方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230404 Address after: No. 88, Wenchang East Road, Yangzhou, Jiangsu 225000 Patentee after: Jiangsu Daoyuan Technology Group Co.,Ltd. Address before: 211135 enlightenment star Nanjing maker space G41, second floor, No. 188, Qidi street, Qilin science and Technology Innovation Park, Qixia District, Nanjing, Jiangsu Province Patentee before: Jiangsu Peregrine Microelectronics Co.,Ltd. |
|
| TR01 | Transfer of patent right |