CN115546038A - 图像降噪方法、电路、电子设备和存储介质 - Google Patents
图像降噪方法、电路、电子设备和存储介质 Download PDFInfo
- Publication number
- CN115546038A CN115546038A CN202110739155.7A CN202110739155A CN115546038A CN 115546038 A CN115546038 A CN 115546038A CN 202110739155 A CN202110739155 A CN 202110739155A CN 115546038 A CN115546038 A CN 115546038A
- Authority
- CN
- China
- Prior art keywords
- pixel data
- matrix
- data matrix
- target
- array
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000009467 reduction Effects 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 54
- 239000011159 matrix material Substances 0.000 claims abstract description 147
- 238000012545 processing Methods 0.000 claims abstract description 65
- 238000010586 diagram Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 12
- 230000009466 transformation Effects 0.000 description 12
- 238000004590 computer program Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20064—Wavelet transform [DWT]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本公开涉及一种图像降噪方法、电路、电子设备和存储介质。所述图像降噪方法,包括:获取图像传感器输出的像素数据阵列;按照预设的时钟周期在像素数据阵列中移动矩阵窗口以获取第一像素数据矩阵,直至遍历像素数据阵列;在每个时钟周期内,对第一像素数据矩阵中的目标像素数据进行小波降噪处理以得到第二像素数据矩阵,输出第二像素数据矩阵中的中心像素数据并且将第二像素数据矩阵更新到像素数据阵列中。
Description
技术领域
本公开属于图像技术领域,具体涉及一种图像降噪方法、电路、电子设备和存储介质。
背景技术
CMOS图像传感器由于其集成度高、抗干扰能力强、低功耗和制造技术的特点被大规模使用,然而CMOS图像传感器仍然受到图像噪声的影响,图像的噪声水平直接影响图像的质量,限制了图像精度。随着对成像质量的要求越来越高,对CMOS图像传感器的噪声抑制成为关注重点,因此有必要提出一种新的降噪处理方法。
发明内容
本公开实施例的目的是提供及一种图像降噪方法、电路、电子设备和存储介质,以实现对图像的降噪处理。
第一方面,本公开实施例提供了一种图像降噪方法,
所述图像降噪方法包括:
获取图像传感器输出的像素数据阵列;
按照预设的时钟周期在所述像素数据阵列中移动M*N的矩阵窗口以获取第一像素数据矩阵,直至遍历所述像素数据阵列,所述M为矩阵窗口的行数,所述N为矩阵窗口的列数,所述M和N为奇数;
在每个时钟周期内,对第一像素数据矩阵进行降噪处理以得到第二像素数据矩阵,输出第二像素数据矩阵中的中心像素数据并且将第二像素数据矩阵更新到所述像素数据阵列中;
其中,所述对第一像素数据矩阵进行降噪处理以得到第二像素数据矩阵,包括:对第一像素数据矩阵中的目标像素数据进行小波降噪处理,所述目标像素数据是第一像素数据矩阵中的与目标通道类型对应的像素数据,所述目标通道类型是第一像素数据矩阵的中心像素数据所对应的通道类型。
可选地,所述对第一像素数据矩阵进行降噪处理以得到第二像素数据矩阵,包括:
在第一像素数据矩阵中任意抽取目标像素数据以形成至少一个含有L个目标像素数据的原始小波变换组;
对于任一个原始小波变换组,分别依次进行小波正变换处理、阈值去噪处理、小波逆变换处理以得到重构小波变换组;
基于至少一个重构小波变换组,更新第一像素数据矩阵中的目标像素数据以得到第二像素数据矩阵。
可选地,所述基于至少一个重构小波变换组,更新第一像素数据矩阵中的目标像素数据以得到第二像素数据矩阵,包括:
对不同重构小波变换组中的同一个目标像素数据计算平均值,将第一像素数据矩阵中的同一个目标像素数据更新为所述平均值。
可选地,所述基于至少一个重构小波变换组,更新第一像素数据矩阵中的目标像素数据以得到第二像素数据矩阵,包括:
根据重构小波变换组的权重,对不同重构小波变换组中的同一个目标像素数据计算加权平均值,将第一像素数据矩阵中的同一个目标像素数据更新为所述加权平均值;其中,如果原始小波变换组中含有更多的被更新过的目标像素数据,则其对应的重构小波变换组的权重更大。
可选地,所述L为4,对原始小波变换组依次进行小波正变换处理、阈值去噪处理、小波逆变换处理以得到重构小波变换组,包括:
A=(A1+A2+A3+A4)/4,H=(A1+A3-A2-A4)/2,V=(A1+A2-A3-A4)/2,D=A1+A4-A2-A3,所述A、H、V、D为中间量,所述A1、A2、A3、A4为原始小波变换组中的目标元素数据的值;
如果H≤Y1,则将H置为零或者将H置为H’,其中,H’为H和X1乘积,所述X1为预设的系数并且0<X1<1,Y1为预设的阈值;
如果V≤Y2,则将V置为零或者将V置为V’,其中,V’为V和X2乘积,所述X2为预设的系数并且0<X2<1,Y2为预设的阈值;
如果D≤Y3,则将D置为零或者将D置为D’,其中,D’为D和X3乘积,所述X3为预设的系数并且0<X3<1,Y3为预设的阈值;
A1’=A+V/2+H/2+D/4,A2’=A+V/2-H/2-D/4,A3’=A-V/2+H/2-D/4,A4’=A-V/2-H/2+D/4;所述A1’、A2’、A3’、A4’为重构小波变换组中的目标元素数据的值。
可选地,在以预设时钟周期在所述像素数据阵列中移动M*N的矩阵窗口以读取第一像素数据矩阵之前,所述方法还包括:
在所述像素数据阵列的最外侧行的外侧分别填充P3行空白元素,在所述像素数据阵列的最外侧列的外侧分别填充Q3列空白元素,以使得所述像素数据阵列从原本的P1行、Q1列扩充为P2行、Q2列,其中,P2=P1+M-1,Q2=Q1+N-1,P3=(M-1)/2,Q3=(N-1)/2。
可选地,所述像素数据阵列为拜耳像素数据阵列,所述M和所述N均为5。
第二方面,本公开实施例提供了一种图像降噪电路。
所述图像降噪电路包括时钟源和处理单元;
所述时钟源用于按照预设的时钟周期向所述处理单元发送时钟信号;
所述处理单元用于接收时钟信号,按照所述时钟周期在所述像素数据阵列中移动M*N的矩阵窗口以获取第一像素数据矩阵,直至遍历所述像素数据阵列,所述M为矩阵窗口的行数,所述N为矩阵窗口的列数,所述M和N为奇数;在每个时钟周期内,对第一像素数据矩阵进行降噪处理以得到第二像素数据矩阵,输出第二像素数据矩阵中的中心像素数据并且将第二像素数据矩阵更新到所述像素数据阵列中;其中,所述对第一像素数据矩阵进行降噪处理以得到第二像素数据矩阵,包括:对第一像素数据矩阵中的目标像素数据进行小波降噪处理,所述目标像素数据是第一像素数据矩阵中的与目标通道类型对应的像素数据,所述目标通道类型是第一像素数据矩阵的中心像素数据所对应的通道类型。
第三方面,本公开实施例提供了一种电子设备,该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面,本公开实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
本公开实施例提供的图像降噪方法,使用移动矩阵窗口遍历像素数据阵列的方式进行降噪,并且在每一次降噪处理后将处理后的目标像素数据更新到像素数据阵列中,使得目标像素数据可以被多次降噪处理,从而达到了一种良好的降噪效果。
附图说明
图1是本公开的一个实施例提供的终端设备的示意图;
图2是本公开的一个实施例提供的图像降噪方法的流程图;
图3(a)-3(b)是本公开的一个实施例提供的第一像素数据矩阵的示意图;
图4是本公开的一个实施例提供的对第一像素数据矩阵进行降噪处理的流程图;
图5是本公开的一个实施例提供的图像降噪方法的流程图;
图6是本公开的一个实施例提供的第一像素数据矩阵的示意图;
图7是本公开的一个实施例提供的图像降噪电路的示意图;
图8是本公开的一个实施例提供的电子设备的示意图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它例子可以具有不同的值。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
本公开实施例涉及图像处理的应用场景。为了实现对图像进行降噪的目的,本公开实施例提供了一种图像降噪方案,可以应用于具有摄像头的电子设备中。
图1是可用于实现本公开实施例的电子设备的结构示意图。
该电子设备1000可以是智能手机、便携式电脑、台式计算机、平板电脑、服务器等,在此不做限定。
该电子设备1000可以包括但不限于处理器1100、存储器1200、摄像头1300、通信装置1400、显示装置1500、输入装置1600、扬声器1700、扬声器1800等等。其中,处理器1100可以是中央处理器CPU、图形处理器GPU、微处理器MCU等,用于执行计算机程序,该计算机程序可以采用比如x86、Arm、RISC、MIPS、SSE等架构的指令集编写。存储器1200例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。摄像头1300用于采集图像,例如包括图像传感器。通信装置1400例如能够利用光纤或电缆进行有线通信,或者进行无线通信,具体地可以包括WiFi通信、蓝牙通信、2G/3G/4G/5G通信等。显示装置1500例如是液晶显示屏、触摸显示屏等。输入装置1600例如可以包括触摸屏、键盘、体感输入等。扬声器1700用于输出音频信号。麦克风1800用于采集音频信号。此外,该电子设备1000还包括一种或者多种接口装置,例如包括USB接口、串行接口、并行接口等。
应用于本公开实施例中,电子设备1000的存储器1200用于存储计算机程序,该计算机程序用于控制处理器1100进行操作以实现根据本公开实施例的图像降噪方法。技术人员可以根据本公开所公开方案设计该计算机程序。该计算机程序如何控制处理器进行操作,这是本领域公知,故在此不再详细描述。该电子设备1000可以安装有智能操作系统(例如Windows、Linux、安卓、IOS等系统)和应用软件。
本领域技术人员应当理解,尽管在图1中示出了电子设备1000的多个装置,但是,本公开实施例的电子设备1000可以仅涉及其中的部分装置,例如,只涉及处理器1100、存储器1200、摄像头1300等。
参见图2所示,本公开实施例提供了一种图像降噪方法,包括步骤S102和S104。
步骤S102、获取图像传感器输出的像素数据阵列。
本公开一个实施例提供的图像降噪方法,以拜耳像素阵列的像素数据阵列进行说明。拜耳像素阵列是实现CCD(charge coupled device,电荷藕合器件相机)或CMOS(Complementary Metal Oxide Semiconductor,互补金属氧化物半导体)传感器拍摄彩色图像的主要技术之一。拜耳像素阵列由绿色感光单元、蓝色感光单元,红色感光单元按序排列而成。
首先,图像传感器采集一帧拜耳数据类型图像以输出像素数据阵列,采集图像的方法是通过配置图像传感器的参数,让图像传感器输出为未经过任何处理的拜耳数据流。拜耳数据流的格式如参见图3(a)的右侧图所示,像素数据阵列为四通道型像素阵列,四个通道分别为Gr、Gb、B、R,每个像素点只对应于一个通道类型的一个数据,其中Gr和Gb表示绿色分量,B表示蓝色分量,R表示红色分量。
在另一个例子中,本公开提供的图像降噪方法可以适用于其他格式的像素数据阵列。
步骤S104、按照预设的时钟周期在像素数据阵列中移动M*N的矩阵窗口以获取第一像素数据矩阵,直至遍历像素数据阵列。其中,M为矩阵窗口的行数,N为矩阵窗口的列数,M和N为奇数。在每个时钟周期内,对第一像素数据矩阵进行降噪处理以得到第二像素数据矩阵,输出第二像素数据矩阵中的中心像素数据并且将第二像素数据矩阵更新到像素数据阵列中。
在一个例子中,参见图3(a),按照从像素数据阵列的第一行最左侧平移到第一行最右侧,再从下一行最左侧平移到下一行最右侧的方式移动该M*N的矩阵窗口,直至该M*N的矩阵窗口遍历像素数据阵列。
本公开实施例提供的图像降噪方法,使用移动M*N的矩阵窗口遍历像素数据阵列的方式进行降噪,并且在每一次降噪处理后将处理后的目标像素数据更新到像素数据阵列中,使得目标像素数据可以被多次降噪处理,从而达到了一种良好的降噪效果。
本公开实施例提供的图像降噪方法,使用移动M*N的矩阵窗口遍历像素数据阵列的方式进行降噪,也就是说每一次降噪都是对像素数据阵列的局部降噪,不需要占用太多的逻辑资源,实现电路所需的面积较小,适用于实时CMOS图像传感器设计。
本公开实施例提供的图像降噪方法,随着时钟周期对像素数据阵列中的像素数据进行流水线式降噪,符合对像素数据阵列按照行读写数据的要求。本公开实施例提供的图像降噪方法,在每个时钟周期实时输出对中心像素数据的降噪结果,提升了降噪效率。
在步骤S104中,对第一像素数据矩阵进行降噪处理以得到第二像素数据矩阵,包括:对第一像素数据矩阵中的目标像素数据进行小波降噪处理,目标像素数据是第一像素数据矩阵中的与目标通道类型对应的像素数据,目标通道类型是第一像素数据矩阵的中心像素数据所对应的通道类型。
假设M和N均为5,即矩阵窗口为5*5的矩阵。以本次获取的第一像素数据矩阵为图3(a)中的矩形框圈出的像素数据矩阵为例,其中心像素数据B22是蓝色分量,第一像素数据矩阵中的同一通道类型的像素数据还包括:B11、B12、B13、B21、B23、B31、B32和B33,则这9个像素数据均为本次的目标像素数据。
本公开实施例提供的图像降噪方法采用小波降噪技术,小波降噪技术可以对边缘进行去噪,对判定为噪声的区域进行强去噪,并且完全保留细节,在噪声和细节的区分上更具优势,使得去噪后图像保留更多的细节。
在一个例子中,参见图4所示,对第一像素数据矩阵进行降噪处理以得到第二像素数据矩阵的过程包括步骤S202-S206。
步骤S202、在第一像素数据矩阵中任意抽取目标像素数据以形成至少一个含有L个目标像素数据的原始小波变换组。所述L小于M和N乘积。
假设L为4,参见图3(a)的左侧图所示,第一像素数据矩阵包括B11、B12、B13、B21、B22、B23、B31、B32和B33,从中间任意抽取4个目标像素数据,具有126种抽取方式,则可以形成126个原始小波变换组。例如,{B11、B12、B13、B21}、{B11、B12、B13、B22}、{B22、B23、B31、B32}等等,这里不再列举。
步骤S204、对于任一个原始小波变换组,分别依次进行小波正变换处理、阈值去噪处理、小波逆变换处理以得到重构小波变换组。
下面以拜耳阵列、L为4为例,对原始小波变换组依次进行小波正变换处理、阈值去噪处理、小波逆变换处理以得到重构小波变换组的过程进行说明。
基于以下式子对原始小波变换组依次进行小波正变换处理:
A=(A1+A2+A3+A4)/4,
H=(A1+A3-A2-A4)/2,
V=(A1+A2-A3-A4)/2,
D=A1+A4-A2-A3,
其中,A1、A2、A3、A4为原始小波变换组中的目标元素数据的值,A、H、V、D为中间量。其中,各个中间量代表的含义是:A表示小波变换后的低频信息,H代表横向分量的高频信息,V表示纵向高频信息,D代表斜向高频信息。例如,原始小波变换组中含有的目标像素数据为{B11、B12、B13、B22},则A1=B11,A2=B12,A3=B13,A4=B22,代入上式计算即可以得出A、H、V、D。
在小波正变换处理后,基于以下方式进行阈值去噪处理:
如果H≤Y1,则将H置为零或者将H置为H’,其中,H’为H和X1乘积,X1为预设的系数并且0<X1<1,Y1为预设的阈值。
如果V≤Y2,则将V置为零或者将V置为V’,其中,V’为V和X2乘积,X2为预设的系数并且0<X2<1,Y2为预设的阈值。
如果D≤Y3,则将D置为零或者将D置为D’,其中,D’为D和X3乘积,X3为预设的系数并且0<X3<1,Y3为预设的阈值。
在图像领域,低频信息作为有效信息需要保留,噪声表现为高频信息,去噪过程就是对不同方向高频信息的处理过程。高频中间分量H、V、D中包含着噪声信息,同时也包含着图像有效边缘信息,对图像进行阈值去噪就是通过阈值对噪声进行滤除,同时尽可能保留有效信息。如果高频中间分量H、V、D低于其对应的预设阈值,则将其判断为噪声。若高频信息被判断为噪声,则通过将高频分量置为零或者降低其数值的方式,来消除高频噪声的影响。若高频信息被判断为有效信息,则不对其进行处理。
在本公开实施例中,Y1、Y2、Y3、X1、X2、X3为经验值,可以根据实验仿真等方式进行设定。
在阈值去噪处理后,基于以下式子进行逆变换处理以重构小波变换组:
A1’=A+V/2+H/2+D/4,
A2’=A+V/2-H/2-D/4,
A3’=A-V/2+H/2-D/4,
A4’=A-V/2-H/2+D/4,
其中,A1’、A2’、A3’、A4’为重构小波变换组中的目标元素数据的值。例如,原始小波变换组为{B11、B12、B13、B22},重构小波变换组为{A1’、A2’、A3’、A4’},其中A1’对应于目标像素数据B11,A2’对应于目标像素数据B12,A3’对应于目标像素数据B13,A4’对应于目标像素数据B22。
步骤S206、基于至少一个重构小波变换组,更新第一像素数据矩阵中的目标像素数据以得到第二像素数据矩阵。
假设L为4,参见图3(a)的左侧图所示,第一像素数据矩阵包括B11、B12、B13、B21、B22、B23、B31、B32和B33,从中间任意抽取4个目标像素数据,具有126种抽取方式,则可以形成126个原始小波变换组。则基于这126个原始小波变换组,更新第一像素数据矩阵中的目标像素数据以得到第二像素数据矩阵。
在一个例子中,步骤S206可以是:对不同重构小波变换组中的同一个目标像素数据计算算数平均值,将第一像素数据矩阵中的同一个目标像素数据更新为该算数平均值。例如,假设第一像素数据矩阵中一共有K个原始小波变换组中含有目标像素数据B22,则将对应的K个重构小波变换组中与目标像素数据B22对应的目标元素数据的算数平均值,作为目标像素数据B22的更新值。通过这种方式,可以对第一像素数据矩阵的每一个目标像素数据进行更新,进而得到第二像素数据矩阵。
在一个例子中,步骤S206可以是:根据重构小波变换组的权重,对不同重构小波变换组中的同一个目标像素数据计算加权平均值,将第一像素矩数据阵中的同一个目标像素数据更新为加权平均值。其中,如果原始小波变换组中含有更多的被更新过的目标像素数据,则其对应的重构小波变换组的权重更大。例如,参见图3(b)中的矩形框所示,5*5的矩形窗口移动后,第一目标像素数据矩阵包括的目标像素数据为B12、B13、B14、B22、B23、B24、B32、B33、B34,其中,B12、B13、B22、B23、B33、B34已经在之前被遍历到更新过,B14、B24、B34是首次被遍历到还没有被更新过。则原始小波变换组{B12、B13、B14、B23}和{B23、B14、B24、B34}相比,两者同样都含有目标像素数据B23,但是前者中含有更多的被更新过的目标像素数据因此权重比较大,在计算目标像素数据B23的加权平均值时,前者所对应的重构小波变换组中的目标像素数据B23具有更高的权重。通过赋予不同的权重,使得经过降噪的目标像素数据占据更高的重要性,提升了降噪结果的准确性。通过这种方式,可以对第一像素数据矩阵的每一个目标像素数据进行更新,进而得到第二像素数据矩阵。
参见图3(a)的左侧图所示,在这个5*5第一像素数据矩阵中,第一像素数据矩阵包括B11、B12、B13、B21、B22、B23、B31、B32和B33,从中间任意抽取4个目标像素数据,具有126种抽取方式。L为4,一组小波变换组只需要四个目标像素数据,以这九个目标像素数据为基础进行处理,将这九个目标像素数据组成多组小波变换组并分别进行小波变换阈值去噪,经过逆变换得到多组像素数据,对得到的这几组像素数据赋予不同的权重以重组得到最终去噪结果。
参见图5所示,本公开实施例提供了一种图像降噪处理方法,包括步骤S102、S103和S104。相较于图2所示的实施例,在以预设时钟周期在像素数据阵列中移动M*N的矩阵窗口以读取第一像素数据矩阵之前,增加了步骤S103。
步骤S103、在像素数据阵列的最外侧行的外侧分别填充P3行空白元素,在像素数据阵列的最外侧列的外侧分别填充Q3列空白元素,以使得像素数据阵列从原本的P1行、Q1列扩充为P2行、Q2列,其中,P2=P1+M-1,Q2=Q1+N-1,P3=(M-1)/2,Q3=(N-1)/2。
参见图6所示,M和N均为5,在原像素数据阵列的上下左右各填充两排空白数据。填充之后,可以使得原像素数据阵列的每一个像素数据都可以作为5*5矩阵窗口的中心像素数据被遍历到,从而不会遗漏输出每一个像素数据的降噪结果。例如,参见图6的矩形框所示,在填充后的像素数据阵列中遍历5*5的矩阵窗口,得到的一个第一像素数据矩阵所包括的目标像素数据包括{B11,B12,B21,B22},并且目标像素数据B11为该第一像素数据矩阵的中心像素点被降噪后输出。第一像素数据矩阵只含有4个目标像素数据,在这种情况下,根据唯一一组重构小波变换组直接更新替换第一像素数据矩阵中的对应的目标像素数据以得到第二像素数据矩阵。
参见图7所示,本公开实施例还提供了一种图像降噪电路。图像降噪电路包括时钟源109和处理单元110。
时钟源109,用于按照预设的时钟周期向所处处理单元发送时钟信号。
处理单元110,用于接收时钟信号,按照时钟周期在像素数据阵列中移动M*N的矩阵窗口以获取第一像素数据矩阵,直至遍历像素数据阵列,M为矩阵窗口的行数,N为矩阵窗口的列数,M和N为奇数。
处理单元110,还用于在每个时钟周期内,对第一像素数据矩阵进行降噪处理以得到第二像素数据矩阵,输出第二像素数据矩阵中的中心像素数据并且将第二像素数据矩阵更新到像素数据阵列中。
其中,对第一像素数据矩阵进行降噪处理以得到第二像素数据矩阵,包括:对第一像素数据矩阵中的目标像素数据进行小波降噪处理,目标像素数据是第一像素数据矩阵中的与目标通道类型对应的像素数据,目标通道类型是第一像素数据矩阵的中心像素数据所对应的通道类型。
其中,处理单元对第一像素数据矩阵中的目标像素数据进行小波降噪处理的过程,可以参见前述图像降噪方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
参见图8所示,本申请实施例还提供一种电子设备,包括处理器210,存储器209,存储在存储器209上并可在所述处理器210上运行的程序或指令,该程序或指令被处理器210执行时实现上述图像降噪方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
在一个例子中,该电子设备还包括摄像模组,所述摄像模组包括像素阵列。该摄像模组例如为CMOS摄像模组。
本申请实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述图像降噪方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等。
本说明书的一个实施例或者多个实施例可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器实现本说明书的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本说明书实施例操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本说明书的各个方面。
这里参照根据本说明书实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本说明书的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本说明书的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人物来说公知的是,通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本说明书的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人物来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进,或者使本技术领域的其它普通技术人物能理解本文披露的各实施例。本申请的范围由所附权利要求来限定。
Claims (10)
1.一种图像降噪方法,其特征在于,包括:
获取图像传感器输出的像素数据阵列;
按照预设的时钟周期在所述像素数据阵列中移动M*N的矩阵窗口以获取第一像素数据矩阵,直至遍历所述像素数据阵列,所述M为矩阵窗口的行数,所述N为矩阵窗口的列数,所述M和N为奇数;
在每个时钟周期内,对第一像素数据矩阵进行降噪处理以得到第二像素数据矩阵,输出第二像素数据矩阵中的中心像素数据并且将第二像素数据矩阵更新到所述像素数据阵列中;
其中,所述对第一像素数据矩阵进行降噪处理以得到第二像素数据矩阵,包括:对第一像素数据矩阵中的目标像素数据进行小波降噪处理,所述目标像素数据是第一像素数据矩阵中的与目标通道类型对应的像素数据,所述目标通道类型是第一像素数据矩阵的中心像素数据所对应的通道类型。
2.根据权利要求1所述的方法,其特征在于,所述对第一像素数据矩阵进行降噪处理以得到第二像素数据矩阵,包括:
在第一像素数据矩阵中任意抽取目标像素数据以形成至少一个含有L个目标像素数据的原始小波变换组;
对于任一个原始小波变换组,分别依次进行小波正变换处理、阈值去噪处理、小波逆变换处理以得到重构小波变换组;
基于至少一个重构小波变换组,更新第一像素数据矩阵中的目标像素数据以得到第二像素数据矩阵。
3.根据权利要求2所述的方法,其特征在于,所述基于至少一个重构小波变换组,更新第一像素数据矩阵中的目标像素数据以得到第二像素数据矩阵,包括:
对不同重构小波变换组中的同一个目标像素数据计算平均值,将第一像素数据矩阵中的同一个目标像素数据更新为所述平均值。
4.根据权利要求2所述的方法,其特征在于,所述基于至少一个重构小波变换组,更新第一像素数据矩阵中的目标像素数据以得到第二像素数据矩阵,包括:
根据重构小波变换组的权重,对不同重构小波变换组中的同一个目标像素数据计算加权平均值,将第一像素数据矩阵中的同一个目标像素数据更新为所述加权平均值;其中,如果原始小波变换组中含有更多的被更新过的目标像素数据,则其对应的重构小波变换组的权重更大。
5.根据权利要求2所述的方法,其特征在于,所述L为4,对原始小波变换组依次进行小波正变换处理、阈值去噪处理、小波逆变换处理以得到重构小波变换组,包括:
A=(A1+A2+A3+A4)/4,H=(A1+A3-A2-A4)/2,V=(A1+A2-A3-A4)/2,D=A1+A4-A2-A3,所述A、H、V、D为中间量,所述A1、A2、A3、A4为原始小波变换组中的目标元素数据的值;
如果H≤Y1,则将H置为零或者将H置为H’,其中,H’为H和X1乘积,所述X1为预设的系数并且0<X1<1,Y1为预设的阈值;
如果V≤Y2,则将V置为零或者将V置为V’,其中,V’为V和X2乘积,所述X2为预设的系数并且0<X2<1,Y2为预设的阈值;
如果D≤Y3,则将D置为零或者将D置为D’,其中,D’为D和X3乘积,所述X3为预设的系数并且0<X3<1,Y3为预设的阈值;
A1’=A+V/2+H/2+D/4,A2’=A+V/2-H/2-D/4,A3’=A-V/2+H/2-D/4,A4’=A-V/2-H/2+D/4;所述A1’、A2’、A3’、A4’为重构小波变换组中的目标元素数据的值。
6.根据权利要求1所述的方法,其特征在于,在以预设时钟周期在所述像素数据阵列中移动M*N的矩阵窗口以读取第一像素数据矩阵之前,所述方法还包括:
在所述像素数据阵列的最外侧行的外侧分别填充P3行空白元素,在所述像素数据阵列的最外侧列的外侧分别填充Q3列空白元素,以使得所述像素数据阵列从原本的P1行、Q1列扩充为P2行、Q2列,其中,P2=P1+M-1,Q2=Q1+N-1,P3=(M-1)/2,Q3=(N-1)/2。
7.根据权利要求1所述的方法,其特征在于,所述像素数据阵列为拜耳像素数据阵列,所述M和所述N均为5。
8.一种图像降噪电路,其特征在于,包括时钟源和处理单元;
所述时钟源用于按照预设的时钟周期向所述处理单元发送时钟信号;
所述处理单元用于接收时钟信号,按照所述时钟周期在所述像素数据阵列中移动M*N的矩阵窗口以获取第一像素数据矩阵,直至遍历所述像素数据阵列,所述M为矩阵窗口的行数,所述N为矩阵窗口的列数,所述M和N为奇数;在每个时钟周期内,对第一像素数据矩阵进行降噪处理以得到第二像素数据矩阵,输出第二像素数据矩阵中的中心像素数据并且将第二像素数据矩阵更新到所述像素数据阵列中;其中,所述对第一像素数据矩阵进行降噪处理以得到第二像素数据矩阵,包括:对第一像素数据矩阵中的目标像素数据进行小波降噪处理,所述目标像素数据是第一像素数据矩阵中的与目标通道类型对应的像素数据,所述目标通道类型是第一像素数据矩阵的中心像素数据所对应的通道类型。
9.一种电子设备,其特征在于,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令;
所述程序或指令被所述处理器执行时实现如权利要求1-7任一项所述的方法的步骤。
10.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求1-7任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110739155.7A CN115546038A (zh) | 2021-06-30 | 2021-06-30 | 图像降噪方法、电路、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110739155.7A CN115546038A (zh) | 2021-06-30 | 2021-06-30 | 图像降噪方法、电路、电子设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115546038A true CN115546038A (zh) | 2022-12-30 |
Family
ID=84716970
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110739155.7A Pending CN115546038A (zh) | 2021-06-30 | 2021-06-30 | 图像降噪方法、电路、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115546038A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116563156A (zh) * | 2023-05-10 | 2023-08-08 | 深圳聚源视芯科技有限公司 | 一种基于非局部均值滤波算法的图像降噪方法及装置 |
-
2021
- 2021-06-30 CN CN202110739155.7A patent/CN115546038A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116563156A (zh) * | 2023-05-10 | 2023-08-08 | 深圳聚源视芯科技有限公司 | 一种基于非局部均值滤波算法的图像降噪方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109840881B (zh) | 一种3d特效图像生成方法、装置及设备 | |
US8520736B2 (en) | Real-time superresolution and video transmission | |
CN112541482B (zh) | 深度信息补全模型训练方法、装置、设备以及存储介质 | |
CN112560875B (zh) | 深度信息补全模型训练方法、装置、设备以及存储介质 | |
CN110913218A (zh) | 一种视频帧预测方法、装置及终端设备 | |
KR102669366B1 (ko) | 비디오 처리 시스템 | |
CN113556442B (zh) | 视频去噪方法、装置、电子设备及计算机可读存储介质 | |
US12056843B2 (en) | Methods and systems for image processing | |
CN110913219A (zh) | 一种视频帧预测方法、装置及终端设备 | |
CN110830808A (zh) | 一种视频帧重构方法、装置及终端设备 | |
CN115546038A (zh) | 图像降噪方法、电路、电子设备和存储介质 | |
CN113744159A (zh) | 一种遥感图像去雾方法、装置及电子设备 | |
JP2008523489A (ja) | 画像サイズを変更する方法および装置 | |
CN111083479A (zh) | 一种视频帧预测方法、装置及终端设备 | |
CN108765341B (zh) | 一种图像处理的方法及其装置 | |
JP4621944B2 (ja) | 画像フィルタ装置、方法およびコンピュータプログラム | |
CN113706385A (zh) | 一种视频超分辨率方法、装置、电子设备及存储介质 | |
CN105917652B (zh) | 用于针对媒体编码进行分数像素内插滤波的方法和装置 | |
CN114266697A (zh) | 图像处理和模型训练方法、装置、电子设备及存储介质 | |
IL262845B (en) | A new pyramid algorithm for video compression and analysis | |
CN106447610A (zh) | 图像重建方法及装置 | |
EP2648179B1 (en) | Image processing device, image processing method | |
Asama et al. | A machine learning imaging core using separable FIR-IIR filters | |
CN111083500A (zh) | 一种视频帧重构方法、装置及终端设备 | |
CN110830806A (zh) | 一种视频帧预测方法、装置及终端设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |