CN117274109B - 图像处理方法、降噪模型训练方法及电子设备 - Google Patents
图像处理方法、降噪模型训练方法及电子设备 Download PDFInfo
- Publication number
- CN117274109B CN117274109B CN202311508220.0A CN202311508220A CN117274109B CN 117274109 B CN117274109 B CN 117274109B CN 202311508220 A CN202311508220 A CN 202311508220A CN 117274109 B CN117274109 B CN 117274109B
- Authority
- CN
- China
- Prior art keywords
- image
- noise
- training
- sample
- coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 264
- 230000009467 reduction Effects 0.000 title claims abstract description 133
- 238000000034 method Methods 0.000 title claims abstract description 115
- 238000003672 processing method Methods 0.000 title claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 66
- 238000003062 neural network model Methods 0.000 claims abstract description 22
- 238000012360 testing method Methods 0.000 claims description 176
- 230000000875 corresponding effect Effects 0.000 claims description 127
- 230000002596 correlated effect Effects 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 9
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000009499 grossing Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 42
- 230000008569 process Effects 0.000 description 35
- 238000004891 communication Methods 0.000 description 20
- 238000013528 artificial neural network Methods 0.000 description 12
- 238000010295 mobile communication Methods 0.000 description 12
- 230000008859 change Effects 0.000 description 9
- 230000008447 perception Effects 0.000 description 9
- 238000007726 management method Methods 0.000 description 8
- 239000003086 colorant Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 235000012434 pretzels Nutrition 0.000 description 3
- 238000001303 quality assessment method Methods 0.000 description 3
- 229920001621 AMOLED Polymers 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011065 in-situ storage Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Abstract
本申请应用于人工智能领域,提供了一种图像处理方法、降噪模型训练方法及电子设备,图像处理方法包括:获取待处理图像;利用降噪模型对待处理图像进行处理,得到目标图像,降噪模型是根据目标损失值对初始降噪模型进行参数调整得到的神经网络模型,初始降噪模型用于对样本图像进行处理,得到训练图像,样本图像是对原图像添加样本噪声得到的,目标损失值是根据标签图像和样本图像之间的差异确定的,标签图像是对原图像添加标签噪声得到的,标签噪声是根据标签系数与样本噪声确定的,标签系数的绝对值小于或等于预设阈值,训练图像与原图像之间的差异大于或等于标签图像与原图像之间的差异。该方法能够降低目标图像过度平滑导致细节丢失的程度。
Description
技术领域
本申请涉及人工智能领域,并且更具体地,涉及一种图像处理方法、降噪模型训练方法及电子设备。
背景技术
图像在成像、传输、获取的过程中,不可避免的会受到外界的干扰,使得图像中出现较多的噪声,并且失去原来的细节而变得模糊。为了恢复图像原来的细节,需要对图像进行降噪处理。
神经网络模型可以用于图像降噪。利用降噪模型对待处理图像进行处理,可以得到降噪后的图像,降噪模型是训练得到是神经网络模型。但是,降噪后的图像可能过度平滑,使得一些原有的细节丢失。
发明内容
本申请提供了一种图像处理方法、降噪模型训练方法及电子设备,能够平衡降噪模型的降噪能力与细节保留程度之间的矛盾,使得降噪模型在实现较好的降噪效果的同时,减少细节的丢失。
第一方面,提供一种图像方法,所述方法包括:获取待处理图像;利用降噪模型对所述待处理图像进行处理,以得到目标图像,所述降噪模型是根据目标损失值对初始降噪模型进行参数调整得到的神经网络模型,所述初始降噪模型用于对样本图像进行处理,以得到训练图像,所述样本图像是对原图像添加样本噪声得到的,所述目标损失值是根据标签图像和所述样本图像之间的差异确定的,所述标签图像是对所述原图像添加标签噪声得到的,所述标签噪声是根据标签系数与所述样本噪声确定的,所述标签系数的绝对值小于或等于预设阈值,所述训练图像与所述原图像之间的第一差异大于或等于所述标签图像与所述原图像之间的第二差异,所述预设阈值大于0。
本申请实施例提供的图像处理方法,利用训练得到的降噪模型对待处理图像进行处理。在训练得到降噪模型的过程中,利用初始降噪模型对样本图像进行处理得到训练图像,根据标签图像与样本图像之间的差异调整初始降噪模型的参数,其中,标签图像是对原图像添加标签噪声得到的,标签噪声是根据标签系数与样本噪声确定,标签系数的绝对值小于或等于预设阈值,且标签噪声与原图像之间的差异小于或等于训练图像与原图像之间的差异。根据图像质量要求,为样本图像设置预设阈值作为样本噪声的噪声强度的边界值,标签图像中样本噪声的强度小于或等于该预设阈值。本申请的方法不再以原图像作为标签图像,而是将添加有标签噪声得到的图像作为标签图像,标签噪声是根据标签系数与样本噪声确定。从而,降低训练得到的降噪模型对待处理图像处理得到的目标图像过度平滑导致细节丢失的可能性,并且具有较好的降噪效果。
在一种可能的实现方式中,标签噪声的幅度小于或等于标签系数与样本噪声的乘积。
在一种可能的实现方式中,所述标签系数的绝对值等于训练噪声系数的绝对值与所述预设阈值中最小值,所述训练噪声系数是使得剩余噪声最小的训练表示系数,所述剩余噪声是训练表示图像与所述训练图像之间的差异,所述训练表示图像是将训练表示噪声添加在所述原图像上得到的,所述训练表示噪声是所述训练表示系数乘以所述样本噪声得到的,所述标签系数的正负与所述训练噪声系数的正负相同。
标签系数可以理解为标签图像中样本噪声的强度。在训练噪声系数的绝对值小于或等于样本图像对应的预设阈值的情况下,标签噪声是根据训练噪声系数与样本噪声确定的,可以时训练噪声系数与样本噪声的乘积;在训练噪声系数的绝对值大于样本图像对应的预设阈值的情况下,标签系数的绝对值等于样本图像对应的预设阈值,标签系数的正负与训练噪声系数的正负相同。
标签系数的设置更加贴近设置预设阈值所依据的标准的下限,从而训练得到的降噪模型能够在目标图像更符合设置预设阈值所依据的标准的情况下,进一步降低目标图像的细节丢失的可能性和程度。
在一种可能的实现方式中,所述目标损失值是对多个子损失值进行加权求和得到的,所述多个子损失值包括第一损失值和第二损失值,所述第一损失值用于表示所述样本图像和所述标签图像之间的差异,所述第二损失值用于表示所述训练图像与训练噪声图像之间的差异,所述训练噪声图像是所述训练表示系数为所述训练噪声系数的情况下的所述训练表示图像。
该多个子损失值包括第二损失值,从而将可能降低训练得到的降噪模型对待处理图像进行处理得到的目标图像的过程中在目标图像中添加新的噪声。
训练噪声图像也可以理解为将训练剩余噪声添加在原图像上得到的。训练剩余噪声是与训练图像中的噪声差异最小的噪声,且训练剩余噪声与样本噪声为正比例关系。训练剩余噪声也可以理解为训练表示系数为训练噪声系数的情况下的剩余噪声。
在一种可能的实现方式中,所述多个子损失值还包括第三损失值,所述第三损失值用于表示所述样本图像和所述原图像之间的差异。
在一种可能的实现方式中,所述样本图像的数量为多个,多个所述样本图像对应于多个预设阈值。
多个样本图像对应于多个预设阈值,使得预设阈值可以根据样本图像的具体情况灵活设置。每个样本图像对应的预设阈值可以分别进行设置,使得每个样本图像对应的预设阈值更加贴近预设阈值所需满足的最低限度要求,从而进一步降低目标图像的细节丢失的可能性和程度。
在一种可能的实现方式中,所述多个样本图像中每个样本图像对应的预设阈值是根据图像类别与图像质量阈值的对应关系确定的,每个样本图像对应的预设阈值是使得测试图像的第一图像质量参数大于或等于目标图像质量阈值的最大的测试系数,所述测试图像是对所述原图像添加测试噪声得到的,所述目标图像质量阈值是所述原图像所属的目标图像类别对应的阈值,所述测试噪声是所述样本噪声乘以所述测试系数得到的,所述第一图像质量参数与图像质量正相关,或者每个样本图像的对应的预设阈值是使得测试图像的第二图像质量参数小于或等于目标图像质量阈值的最大的测试系数,所述第二图像质量参数与图像质量负相关,不同的图像类别对应于不同范围的色彩信息。
根据图像的色彩信息,对图像进行类别的划分。对于每个图像所述的类别,确定该类别对应的图像质量阈值。从而,在使得样本图像对应的预设阈值的设置更加符合每个样本图像对应的原图像对图像质量的最低要求的同时,降低人工成本。
在一种可能的实现方式中,人眼对所述原图像感知的第一图像质量与人眼对阈值图像感知的第二图像质量是相同的,所述阈值图像是在所述原图像上添加阈值噪声得到的图像,所述阈值噪声是所述预设阈值与所述样本噪声的乘积。
根据人眼对图像的质量感知,设置预设阈值,从而训练得到的降噪模型对待处理图像进行处理得到目标图像,人眼对目标图像中噪声无感知,且降低了目标图像的细节丢失的可能性和程度。
第二方面,提供一种降噪模型训练方法,所述方法包括:获取样本图像,所述样本图像是对原图像添加样本噪声得到的;利用初始降噪模型对所述样本图像进行处理,以得到训练图像;对所述原图像添加标签噪声得到的标签图像,所述标签噪声是根据标签系数与所述样本噪声确定的,所述标签系数的绝对值小于或等于预设阈值,所述训练图像与所述原图像之间的第一差异大于或等于所述标签图像与所述原图像之间的第二差异,所述预设阈值大于0;根据目标损失值,对所述初始降噪模型进行参数调整,所述目标损失值是根据所述样本图像和所述标签图像之间的差异确定的。
在一种可能的实现方式中,所述标签系数的绝对值等于训练噪声系数的绝对值与所述预设阈值中最小值,所述训练噪声系数是使得剩余噪声最小的训练表示系数,所述剩余噪声是训练表示图像与所述训练图像之间的差异,所述训练表示图像是将训练表示噪声添加在所述原图像上得到的,所述训练表示噪声是所述训练表示系数乘以所述样本噪声得到的,所述标签系数的正负与所述训练噪声系数的正负相同。
在一种可能的实现方式中,所述目标损失值是对多个子损失值进行加权求和得到的,所述多个子损失值包括第一损失值和第二损失值,所述第一损失值用于表示所述样本图像和所述标签图像之间的差异,所述第二损失值用于表示所述训练图像与训练噪声图像之间的差异,所述训练噪声图像是所述训练表示系数为所述训练噪声系数的情况下的所述训练表示图像。
在一种可能的实现方式中,所述多个子损失值还包括第三损失值,所述第三损失值用于表示所述样本图像和所述原图像之间的差异。
在一种可能的实现方式中,所述样本图像的数量为多个,多个所述样本图像对应于多个预设阈值。
在一种可能的实现方式中,所述方法还包括:根据图像类别与图像质量阈值的对应关系,确定每个样本图像对应的预设阈值,每个样本图像对应的预设阈值是使得测试图像的第一图像质量参数大于或等于目标图像质量阈值的最大的测试系数,所述测试图像是对所述原图像添加测试噪声得到的,所述目标图像质量阈值是所述原图像所属的目标图像类别对应的阈值,所述测试噪声是所述样本噪声乘以所述测试系数得到的,所述第一图像质量参数与图像质量正相关,或者每个样本图像的对应的预设阈值是使得测试图像的第二图像质量参数小于或等于目标图像质量阈值的最大的测试系数,所述第二图像质量参数与图像质量负相关,不同的图像类别对应于不同范围的色彩信息。
在一种可能的实现方式中,人眼对所述原图像感知的第一图像质量与人眼对阈值图像感知的第二图像质量是相同的,所述阈值图像是在所述原图像上添加阈值噪声得到的图像,所述阈值噪声是所述样本图像对应的预设阈值与所述样本噪声的乘积。
第三方面,提供了一种图像处理装置,包括用于执行第一方面或第二方面的方法的各个单元。该装置可以是电子设备,也可以是电子设备内的芯片。
第四方面,提供了一种电子设备,包括存储器和处理器,存储器用于存储计算机程序,所述处理器用于从所述存储器中调用并运行所述计算机程序,使得所述电子设备执行第一方面或第二方面的方法。
第五方面提供了一种芯片,包括处理器与数据接口,所述处理器通过所述数据接口读取存储器上存储的指令,以执行第一方面或第二方面的方法。
第六方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序代码,所述计算机程序代码用于实现第一方面或第二方面的方法。
第七方面,提供了一种计算机程序产品,所述计算机程序产品包括:计算机程序代码,所述计算机程序代码用于实现第一方面或第二方面的方法。
附图说明
图1是一种适用于本申请的电子设备的硬件系统的示意图;
图2是一种适用于本申请的电子设备的软件系统的示意图;
图3是一种降噪模型对带噪声图像进行处理的示意图;
图4是降噪图像和原图像的示意图;
图5是本申请实施例提供的图像处理方法的示意性流程图;
图6是本申请实施例提供的一种降噪模型训练方法的示意性流程图;
图7是本申请实施例提供的另一种降噪模型训练方法的示意性流程图;
图8是本申请实施例提供的测试图像的示意图;
图9是本申请实施例提供的图像用户界面的示意图;
图10是本申请提供的一种图像处理装置的示意性结构图。
具体实施方式
下面将结合附图,对本申请实施例中的技术方案进行描述。
图1示出了一种适用于本申请的电子设备的硬件系统。
本申请实施例提供的方法可以应用于手机、平板电脑、可穿戴设备、笔记本电脑、上网本、个人数字助理(personal digital assistant,PDA)等各种能够联网通信的电子设备,本申请实施例对电子设备的具体类型不作任何限制。
图1示出了电子设备100的结构示意图。电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriberidentification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口130等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K,充电器,闪光灯,摄像头193等。例如:处理器110可以通过I2C接口耦合触摸传感器180K,使处理器110与触摸传感器180K通过I2C总线接口通信,实现电子设备100的触摸功能。
可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code division multipleaccess,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC ,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidounavigation satellite system,BDS),准天顶卫星系统(quasi-zenith satellitesystem,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-OLED,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP 用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A,电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,电子设备100根据压力传感器180A检测所述触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
触摸传感器180K,也称“触控面板”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
电子设备100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本申请实施例以分层架构的Android系统为例,示例性说明电子设备100的软件结构。
图2是本申请实施例的电子设备100的软件结构框图。分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)的系统库,以及内核层。应用程序层可以包括一系列应用程序包。
如图2所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图2所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
Android runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(media libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层可以包括显示驱动、摄像头驱动、音频驱动和传感器驱动等驱动模块。
图像在成像、传输、获取的过程中,不可避免的会受到外界的干扰,使得图像中出现较多的噪声,并且失去原来的细节而变得模糊。为了恢复图像,可以对图像进行降噪处理,从而使得图像变得清晰。
神经网络模型可以用于降噪处理。如图3所示,降噪模型为训练得到的神经网络模型。通过训练对神经网络模型的参数进行调整,可以使得训练得到的降噪模型能够对输入的带噪声图像进行处理,输出降噪图像。与带噪声图像相比,降噪图像中的噪声降低,使得图像更加干净、更加清晰。
为了检测神经网络的降噪效果,带噪声图像可以是在原图像的技术上添加噪声得到的。与图4中的(b)所示的原图像相比,神经网络输出的如图4中的(a)所示的降噪图像过度平滑,丢失了部分细节。
为了解决上述问题,本申请实施例提供了一种图像处理方法。
下面结合图5对本申请实施例提供的图像处理方法进行详细描述。
图5是本申请实施例提供的图像处理方法的示意性流程图。
图5所示的图像处理方法包括步骤S510至步骤S520,下面分别对这些步骤进行详细的描述。
步骤S510,获取待处理图像。
待处理图像可以是携带有噪声的图像。
步骤S520,利用降噪模型对所述待处理图像进行处理,以得到目标图像,所述降噪模型是根据目标损失值对初始降噪模型进行参数调整得到的神经网络模型,所述初始降噪模型用于对样本图像进行处理,以得到训练图像,所述样本图像是对原图像添加样本噪声得到的,所述目标损失值是根据标签图像和所述样本图像之间的差异确定的,所述标签图像是对所述原图像添加标签噪声得到的,所述标签噪声是根据标签系数与所述样本噪声确定的,所述标签系数的绝对值小于或等于预设阈值,所述训练图像与所述原图像之间的第一差异大于或等于所述标签图像与所述原图像之间的第二差异,所述预设阈值大于或等于0。
初始降噪模型可以是深度神经网络。
深度神经网络(deep neural network,DNN),也称为多层神经网络,可以理解为具有多层隐含层的神经网络。按照不同层的位置对DNN进行划分,DNN内部的神经网络可以分为三类:输入层,隐含层,输出层。一般来说第一层是输入层,最后一层是输出层,中间的层数都是隐含层。DNN中,层与层之间可以是全连接的,也就是说,第i层的任意一个神经元一定与第i+1层的任意一个神经元相连。
在进行S520之前,可以获取训练得到的降噪模型。
在训练神经网络模型的过程中,因为神经网络模型的输出尽可能的接近真正想要预测的值,所以可以通过比较当前网络的预测值和真正想要的目标值,再根据两者之间的差异情况来更新每一层神经网络的权重向量(当然,在第一次更新之前通常会有初始化的过程,即为神经网络模型中的各层预先配置参数),比如,如果模型的预测值高了,就调整权重向量让它预测低一些,不断地调整,直到神经网络模型能够预测出真正想要的目标值或与真正想要的目标值非常接近的值。因此,就需要预先定义“如何比较预测值和目标值之间的差异”,这便是损失函数(loss function)或目标函数(objective function),它们是用于衡量预测值和目标值的差异的重要方程。其中,以损失函数举例,损失函数的输出值即损失值(loss)越高表示差异越大,那么神经网络模型的训练就变成了尽可能缩小这个loss的过程。
根据样本图像和标签图像,可以计算目标损失值。对初始降噪模型的参数调整,是为了使得该多个样本图像对应的目标损失值尽可能缩小。
在训练过程中,使用的样本图像的数量可以是一个或多个。在样本图像的数量为多个的情况下,该多个样本图像对应的原图像可以相同或不同。该多个样本图像可以是对该样本图像对应的原图像添加相同或不同的样本噪声得到的。示例性地,每个样本图像可以是通过在原图像上添加高斯噪声、泊松噪声、椒盐噪声中的一种或多种得到的。也就是说,样本噪声可以包括高斯噪声、泊松噪声、椒盐噪声中的一种或多种。
预设阈值可以是根据某种预设的图像质量要求确定的。多个样本图像可以对应于相同或不同的预设阈值。示例性地,预设的图像质量要求可以是原图像添加测试噪声前后的图像质量差异小于预设值,也可以是人眼感知的原图像添加测试噪声前后的图像质量无感知。测试噪声是测试系数与样本噪声的乘积。
多个样本图像对应于多个预设阈值,使得预设阈值可以根据样本图像的具体情况灵活设置,每个样本图像对应的预设阈值的设置可以更加贴近图像质量要求中最低限度,从而使得训练得到的降噪模型对待处理图像进行处理得到的目标图像在符合设置预设阈值所依据的图像质量要求的同时,能够尽可能降低目标图像过度平滑导致细节丢失的可能性和程度,提高图像处理效果。
下面以预设的图像质量要求为人眼感知的原图像添加测试噪声前后的图像质量无感知作为示例,对设置样本图像对应预设阈值的方式进行说明。设置样本图像对应预设阈值的方式可以是一下多种方式中的任意一种。
第一种方式,通过人眼观察,确定样本图像对应的预设阈值。对于每个样本图像,在该样本图像对应的原图像上添加测试噪声,测试噪声是测试系数与样本噪声的乘积。在测试系数取值为多个的情况下,测试噪声也可以是多个。将不同的测试噪声分别添加在原图像,可以得到多个测试图像。样本图像对应的预设阈值可以是多个测试图像中使得人眼感知的图像质量与原图像相同的至少一个测试图像中所利用的测试系数的最大值,即使得人眼感知的测试图像的图像质量与原图像相比不发生变化情况下的最大的测试系数的值。
也就是说,人眼对原图像感知的第一图像质量与人眼对阈值图像感知的第二图像质量是相同的,阈值图像是在原图像上添加阈值噪声得到的图像,阈值噪声是所述样本图像对应的预设阈值与样本噪声的乘积。
根据人眼感知的图像质量,确定样本图像对应的预设阈值,使得训练得到的降噪模型对待处理图像的处理结果符合人眼对图像质量的要求。
根据人眼感知的图像质量,确定样本图像对应的预设阈值,人工成本较高。为了减低人工成本,可以采用第二种或第三种方式对样本图像对应的预设阈值进行确定。
在第二种方式和第三种方式中,可以根据原图像的色彩信息,确定原图像所属的图像类别。也就是说,图像类别可以是按照图像中色彩信息进行划分的。不同的图像类别可以对应于不同范围的色彩信息。
与色彩明亮的图像相比,人眼更容易感知色彩昏暗的图像中的噪声。而图像中色彩变化复杂的图像相比,人眼更容易感知色彩平滑的图像中的噪声。因此,按照图像中色彩的亮度、色彩的平滑程度等与色彩相关的信息的范围,可以对图像类别进行划分。不同的图像类别中,图像的色彩的明度范围、色彩平滑程度范围的组合可以是不同的,即不同的图像类别中图像的色彩的明度范围和/或色彩平滑程度范围可以是不同的。
第二种方式,多个图像类别可以对应于多个噪声幅度。根据图像类别与噪声幅度的对应关系,可以确定样本图像对应的原图像所属的目标图像类别对应的目标噪声幅度。对于每个样本图像,样本图像对应的预设阈值可以是使得测试系数与样本噪声的乘积得到的测试噪声的幅度小于或等于目标噪声幅度的最小测试系数。
第三种方式,多个图像类别可以对应于多个图像质量阈值。每个样本图像对应的预设阈值可以是使得测试图像的第一图像质量参数大于或等于目标图像质量阈值的最大的测试系数,或者每个样本图像的对应的预设阈值是使得测试图像的第二图像质量参数小于或等于目标图像质量阈值的最小的测试系数。第一图像质量参数与图像质量正相关,第二图像质量参数与图像质量负相关。测试图像是在原图像添加测试噪声得到的,目标图像质量阈值是样本图像对应的原图像所属的目标图像类别对应的图像质量阈值,测试噪声是所述样本噪声乘以测试系数得到的。
在第三种方式中,对于每个样本图像,可以在该样本图像对应的原图像上添加测试噪声,测试噪声是测试系数与样本噪声的乘积。根据测试系数的多个取值,可以得到多个测试噪声。将该多个测试噪声分别添加在原图像,可以得到多个测试图像。根据图像类别与图像质量阈值的对应关系,可以确定样本图像对应的原图像所属的目标图像类别,目标图像类别对应的图像质量阈值为目标图像质量阈值。
对于与图像质量正相关的第一图像质量参数,每个样本图像对应的预设阈值可以是使得测试图像的第一图像质量参数大于或等于目标图像质量阈值的最大的测试系数。即在第一图像质量参数大于或等于目标图像质量阈值的多个测试图像中,测试系数的最大值可以作为样本图像对应的预设阈值。
第一图像质量参数可以是图像质量评估(image quality assessment,IQA)分数。图像质量评估是图像处理中的基本技术之一,主要通过对图像进行特性分析研究,从而确定图像的优劣程度。
对于与图像质量负相关的第二图像质量参数,每个样本图像对应的预设阈值可以是使得测试图像的第二图像质量参数小于或等于目标图像质量阈值的最大的测试系数。即在第二图像质量参数小于或等于目标图像质量阈值的多个测试图像中,测试系数的最大值可以作为样本图像对应的预设阈值。
第二图像质量参数可以是测试图像与原图像的结构相似性(structuralsimilarity,SSIM)或测试图像的峰值信噪比(peak signal-to-noise ratio,PSNR)。SSIM是一种衡量两幅图像相似度的指标。PSNR表示信号最大可能功率和影响它的表示精度的破坏性噪声功率的比值。
根据原图像的色彩明亮、色彩平滑程度,确定原图像所属的图像类别,从而根据原图像所述的图像类别,确定原图像对应的样本图像对应的预设阈值,使得样本图像对应的预设阈值的确定更加符合人眼感知,从而使得训练得到的降噪模型对待处理图像的处理结果符合人眼对图像质量的要求的同时,减少图像中细节的丢失。
而与第二种方式相比,通过第三种方式确定样本图像对应的预设阈值,使得样本图像对应的预设阈值能够根据不同噪声类型对人眼感知的图像质量的影响进行设置,样本图像对应的预设阈值更加准确的反映人眼感知的图像质量不改变的样本噪声的最大系数,从而使得训练得到的降噪模型对待处理图像的处理结果在符合人眼对图像质量的要求的同时,减少图像中细节的丢失。
根据样本图像对应的预设阈值,以及初始降噪模型对样本图像处理得到的训练图像,可以确定标签图像。标签图像是对原图像添加标签噪声得到,标签噪声是根据标签系数与样本噪声确定的,标签系数是根据样本图像对应的预设阈值和训练图像确定的。
标签噪声可以是标签系数与样本噪声的乘积。或者,标签噪声可以是对标签系数与样本噪声相乘得到的噪声进行削减得到的。也就是说,标签噪声的幅度可以小于或等于标签系数与样本噪声的乘积,即标签噪声中每个像素的噪声幅度小于或等于标签系数与样本噪声的乘积中该像素的幅度。标签噪声中每个像素的可以与该乘积中该像素的正负相同或不同。
在原图像添加训练表示噪声,可以得到训练噪声系数。训练表示噪声是训练表示系数乘以样本噪声得到的。使得训练表示图像与训练图像之间差异最小的训练表示系数为训练噪声系数。标签系数的绝对值可以等于训练噪声系数的绝对值与样本图像对应的预设阈值中较小值。
标签系数的正负可以与训练噪声系数的正负相同,以降低训练得到的降噪模型输出的图像中添加与待处理图像中的噪声相反的噪声。
也就是说,在训练噪声系数的绝对值小于或等于样本图像对应的预设阈值的情况下,标签噪声为训练噪声系数与样本噪声的乘积;在训练噪声系数的绝对值大于样本图像对应的预设阈值的情况下,标签系数的绝对值等于样本图像对应的预设阈值,标签系数的正负与训练噪声系数的正负相同。
从而,训练噪声系数小于或等于样本图像对应的预设阈值的情况下,可以不再对初始降噪模型的参数进行调整。标签系数的设置更加贴近设置预设阈值所依据的标准的下限,从而训练得到的降噪模型能够在目标图像更符合设置预设阈值所依据的标准的情况下,进一步降低目标图像的细节丢失的可能性和程度。
目标损失值可以表示样本图像和标签图像之间的差异。
或者,目标损失值可以是对多个对子损失值进行加权求和得到的。每个子损失值对应的权重可以是预设的。
该多个子损失值可以包括第一损失值,第一损失值用于表示所述样本图像和所述标签图像之间的差异。
该多个子损失值也可以包括第二损失值和/或第三损失值。第二损失值用于表示训练图像与训练表示系数为训练噪声系数的情况下的训练表示图像之间的差异。第三损失值用于表示样本图像和原图像之间的差异。
训练噪声图像也可以理解为将训练剩余噪声添加在原图像上得到的。训练剩余噪声是与训练图像中的噪声差异最小的噪声,且训练剩余噪声与样本噪声为正比例关系。训练剩余噪声也可以理解为训练表示系数为训练噪声系数的情况下的剩余噪声。
如果该多个子损失值包括第二损失值,则在训练过程中能够通过对初始降噪模型的参数调整,使得调整后的模型对样本图像进行处理得到的图像中尽可能出现与样本噪声成正比的噪声之外其他噪声存在的可能性,从而能够降低训练得到的降噪模型对待处理图像进行处理得到的目标图像中伪纹理存在的可能性,也就是降低降噪模型在降低待处理图像中噪声的同时产生其他新的噪声。
本申请实施例提供的图像处理方法,利用训练得到的降噪模型对待处理图像进行处理。在训练得到降噪模型的过程中,利用初始降噪模型对样本图像进行处理得到训练图像,根据标签图像与样本图像之间的差异调整初始降噪模型的参数,其中,标签图像是对原图像添加标签噪声得到的,标签噪声是标签系数与所述样本噪声的乘积,标签系数的绝对值小于或等于预设阈值,且标签噪声与原图像之间的差异小于或等于训练图像与原图像之间的差异。根据图像质量要求,为样本图像设置预设阈值作为样本噪声的噪声强度的边界值,标签图像中样本噪声的强度小于或等于该预设阈值。本申请的方法不再以原图像作为标签图像,而是将添加有一定强度样本噪声的图像作为标签图像。从而,降低训练得到的降噪模型对待处理图像处理得到的目标图像过度平滑导致细节丢失的可能性,并具有较好的降噪效果。
下面结合图6至图9,对图5所示的图像处理方法中使用的神经网络模型的训练方法进行说明。
图6是本申请实施例提供的一种降噪模型训练方法的示意性流程图。
图6所示的降噪模型训练方法包括步骤S610至步骤S620,下面分别对这些步骤进行详细的描述。
步骤S610,获取样本图像,所述样本图像是对原图像添加样本噪声得到的。
步骤S620,利用初始降噪模型对所述样本图像进行处理,以得到训练图像。
步骤S630,对所述原图像添加标签噪声得到的标签图像,所述标签噪声是根据标签系数与所述样本噪声确定的,所述标签系数的绝对值小于或等于预设阈值,所述训练图像与所述原图像之间的第一差异大于或等于所述标签图像与所述原图像之间的第二差异,所述预设阈值大于0。
步骤S640,根据目标损失值,对所述初始降噪模型进行参数调整,所述目标损失值是根据所述样本图像和所述标签图像之间的差异确定的。
可选地,所述标签系数的绝对值等于训练噪声系数的绝对值与所述预设阈值中最小值,所述训练噪声系数是使得剩余噪声最小的训练表示系数,所述剩余噪声是训练表示图像与所述训练图像之间的差异,所述训练表示图像是将训练表示噪声添加在所述原图像上得到的,所述训练表示噪声是所述训练表示系数乘以所述样本噪声得到的,所述标签系数的正负与所述训练噪声系数的正负相同。
可选地,所述目标损失值是对多个子损失值进行加权求和得到的,所述多个子损失值包括第一损失值和第二损失值,所述第一损失值用于表示所述样本图像和所述标签图像之间的差异,所述第二损失值用于表示所述训练图像与训练噪声图像之间的差异,所述训练噪声图像是所述训练表示系数为所述训练噪声系数的情况下的所述训练表示图像。
可选地,所述多个子损失值还包括第三损失值,所述第三损失值用于表示所述样本图像和所述原图像之间的差异。
可选地,所述样本图像的数量为多个,多个所述样本图像对应于多个预设阈值。
可选地,所述方法还包括:根据图像类别与图像质量阈值的对应关系,确定每个样本图像对应的预设阈值,每个样本图像对应的预设阈值是使得测试图像的第一图像质量参数大于或等于目标图像质量阈值的最大的测试系数,所述测试图像是对所述原图像添加测试噪声得到的,所述目标图像质量阈值是所述原图像所属的目标图像类别对应的阈值,所述测试噪声是所述样本噪声乘以所述测试系数得到的,所述第一图像质量参数与图像质量正相关,或者每个样本图像的对应的预设阈值是使得测试图像的第二图像质量参数小于或等于目标图像质量阈值的最大的测试系数,所述第二图像质量参数与图像质量负相关,不同的图像类别对应于不同范围的色彩信息。
可选地,人眼对所述原图像感知的第一图像质量与人眼对阈值图像感知的第二图像质量是相同的,所述阈值图像是在所述原图像上添加阈值噪声得到的图像,所述阈值噪声是所述样本图像对应的预设阈值与所述样本噪声的乘积。
通过处理模型可以对第一图像、第二图像、初始位置信息,以及第二图像与第二图像之间的差异数据进行处理,以得到对焦信息。处理模型在确定对焦信息的过程中,考虑差异数据和对初始位置信息对焦信息的影响,使得确定的对焦信息更加准确,从而镜头根据对焦信息移动后使得传感器对目标对象采集的图像更加清晰。
本申请实施例提供的降噪模型训练方法,利用初始降噪模型对样本图像进行处理得到训练图像,根据标签图像与样本图像之间的差异调整初始降噪模型的参数,其中,标签图像是对原图像添加标签噪声得到的,标签噪声是标签系数与所述样本噪声的乘积,标签系数的绝对值小于或等于预设阈值,且标签噪声与原图像之间的差异小于或等于训练图像与原图像之间的差异。从而,训练得到的降噪模型对待处理图像进行处理得到的目标图像符合设置样本图像对应的预设阈值所依据的图像质量要求,并且能够降低目标图像过度平滑导致细节丢失的可能性和程度。
下面结合图7对图6所示的降噪模型训练方法进行详细说明。
图7是本申请实施例提供的一种降噪模型训练方法的示意性流程图。图7所示的降噪模型训练方法包括步骤S701至步骤S706,下面分别对这些步骤进行详细的描述。
步骤S701,在原图像上添加样本噪声n,以得到样本图像/>。
样本噪声n可以表示为:。
样本噪声n可以包括高斯噪声、泊松噪声、椒盐噪声等中的一种或多种类型的噪声。
步骤S702,确定样本图像对应的预设阈值/>。
在记录不同场景的多个原图像中均添加相同的噪声,得到多个带噪声图像。人在观看这些带噪声图像时,感知的图像质量是不同的。
与色彩明亮或记录内容复杂的图像相比,人眼更容易感知色彩昏暗或色彩平滑的图像中的噪声。也就是说,如果原图像的色彩明亮或色彩变化较多,则人眼对添加噪声得到的带噪声图像感知的图像质量较好;反之,如果原图像的色彩昏暗或色彩平滑,则人眼对添加噪声得到的带噪声图像感知的图像质量较差。
样本图像对应的预设阈值/>可以表示使得人眼对测试图像感知的第一图像质量与人眼对原图像感知的第二图像质量相等的情况下最大的测试系数,其中,测试图像是在原图像/>添加测试噪声得到的,测试噪声是样本噪声乘以测试系数得到的。
也就是说,为了确定样本图像对应的预设阈值/>,可以分别在原图像/>添加多个测试噪声,以得到多个测试图像。该多个测试噪声是样本噪声n分别乘以多个不同的测试系数得到的。样本图像/>对应的预设阈值/>是使得人眼对测试图像和原图像/>的图像质量变化无感知的最大的测试系数。
例如,在图8中的(a)所示的原图像中添加测试图像,测试系数为0.3对应的测试图像为图8中的(b)所示的图像,测试系数为0.5对应的测试图像为图8中的(c)所示的图像,测试系数为1对应的测试图像为图8中的(d)所示的图像。也就是说,图8中的(d)所示的图像即为样本图像。
人眼对图8中的(b)所示的测试图像感知的图像质量与人眼对图8中的(a)所示的原图像感知的图像质量相同,并且,人眼对图8中的(c)所示的测试图像感知的图像质量与原图像感知的图像质量不同,人眼对图8中的(d)所示的测试图像感知的图像质量与原图像感知的图像质量不同。因此,图8中的(d)所示的样本图像对应的预设阈值为0.3。
降噪模型训练过程中所需的样本图像的数量可以是多个。通过人眼对次数图像的主观感受和评价,可以标定样本图像对应的预设阈值/>。每一张样本图像/>对应的预设阈值/>都可以是通过人工观察添加测试噪声后的测试图像的图像质量确定。
或者,样本图像对应的预设阈值/>也可以根据样本图像/>所属的图像类别确定。不同的图像类别可以对应于不同的系数阈值,样本图像/>对应的预设阈值/>为样本图像/>所属的图像类别对应的系数阈值。
样本图像所属的图像类别,也可以理解为原图像/>所属的图像类别。
根据图像的明度、色彩平滑程度等色彩信息,可以将图像划分为多个图像类别。不同的图像类别中,图像的色彩的明度范围、色彩平滑程度范围的组合可以是不同的。
在该图像类别中的至少一个原图像上添加测试噪声以得到每个原图像对应的测试图像。测试噪声是样本噪声n乘以测试系数得到的。每个图像类别对应的系数阈值,可以理解为,使得人眼不能够感知该至少一个原图像中每个原图像与该原图像添加测试噪声得到的测试图像之间图像质量的变化的最大的测试系数。
示例性地,将取值为初始值的测试系数与样本噪声n相乘得到的测试噪声分别添加在该至少一个原图像,以得到每个原图像对应的测试图像。人眼观察每个原图像与该原图像对应的测试图像的图像质量是否相同。如果人眼感知的每个原图像与该原图像对应的测试图像的图像质量相同,则测试系数的取值增加。而如果人眼感知的任意一个原图像与该原图像对应的测试图像的图像质量不同,则测试系数的取值减小。之后,根据取值调整后的测试系数重新与样本噪声n相乘得到新的测试噪声,将新的测试噪声分别添加在该至少一个原图像,再次得到每个原图像对应的测试图像。通过人眼的感知,对测试系数的取值进行调整。经过多次测试系数的调整,可以确定使得人眼感知的每个原图像与该原图像对应的测试图像的图像质量相同的最大的测试系数。该最大的测试系数即为该图像类别对应的系数阈值。
应当理解,添加测试噪声的该至少一个原图像,可以是该图像类别中的部分原图像。从而,需要人眼进行图像感知的原图像数量减少,降低了人工成本。
又或者,样本图像对应的预设阈值/>可以根据该图像类别对应的参数阈值确定。图像类别与参数阈值的对应关系可以是预设的。
多个的图像类别可以对应于预设参数的多个参数阈值。
属于某个图像类别的原图像上添加样本噪声n得到的样本图像/>。在该预设参数为与人眼感知的图像质量的变化正相关的第一图像质量参数情况下,样本图像/>对应的预设阈值/>可以是使得多个带噪声图像中该预设参数的值大于或等于该某个图像类别对应的参数阈值的至少一个带噪声图像对应的最大的测试系数。该多个带噪声图像是在原图像/>上分别添加多种测试噪声得到的,该多种测试噪声分别为样本噪声n乘以多个测试系数得到的。在生成某个带噪声图像过程中所使用的测试系数即为该带噪声图像对应的测试系数。
也就是说,将多个不同的测试系数乘以样本噪声n,得到多个测试噪声。将该多个测试噪声分别添加在原图像,可以得到多个带噪声图像。分别计算该多个带噪声图像的第一图像质量参数。该多个带噪声图像的多个预设参数的值中,大于或等于原图像/>所属的图像类别对应的参数阈值的最小的第一图像质量参数对应的带噪声图像中所添加的测试噪声的测试系数,即为该原图像上添加样本噪声n得到的样本图像/>对应的预设阈值/>。
对于第一图像质量参数,某个图像类别对应的参数阈值可以是使得在对该图像类别中的图像添加噪声过程中确定的使得人眼对带噪声图像与原图像的图像质量变化无感知或带噪声图像的图像质量满足预设要求的最小的第一图像质量参数。
第一图像质量参数可以是IQA分数。
而在该预设参数为与人眼感知的图像质量的变化负相关的第二图像质量参数的情况下,样本图像对应的预设阈值/>可以是使得多个带噪声图像中该预设参数的值小于或等于该某个图像类别对应的参数阈值的至少一个带噪声图像对应的最大的测试系数。该多个带噪声图像是在原图像/>上分别添加多种测试噪声得到的,该多种测试噪声分别为样本噪声n乘以多个测试系数得到的。在生成某个带噪声图像过程中所使用的测试系数,可以理解为该带噪声图像对应的测试系数。
也就是说,将多个不同的测试系数乘以样本噪声n,得到多个测试噪声。将该多个测试噪声分别添加在原图像,可以得到多个带噪声图像。分别计算该多个带噪声图像的第二图像质量参数。该多个带噪声图像的多个第二图像质量参数中,大于或等于原图像所属的图像类别对应的参数阈值的最大的第二图像质量参数对应的带噪声图像中所添加的测试噪声的测试系数,即为样本图像/>对应的预设阈值/>。
对于第二图像质量参数,某个图像类别对应的参数阈值可以是使得在对该图像类别中的图像添加噪声过程中确定的使得人眼对带噪声图像与原图像的图像质量变化无感知或带噪声图像的图像质量满足预设要求的最大的第二图像质量参数。
第二图像质量参数可以是SSIM或PSNR等。
同一图像类别中,由于人眼感知的图像质量的变化与添加噪声后的图像的预设参数正相关或负相关,在原图像添加根据不同测试系数的测试噪声之后,计算每个测试加噪声后的带噪声图像的预设参数的值,并将该预设参数的值与该原图像所属的图像类别的参数阈值进行大小关系的比较,从而可以确定该样本图像对应的预设阈值。
应当理解,训练降噪模型过程中使用的样本图像的数量可以是一个或多个。在样本图像的数量为多个的情况下,不同样本图像可以是添加相同或不同的噪声得到的。
因此,对于相同的原图像,在添加的样本噪声n不同的情况下得到的样本图像对应的预设阈值/>可以是相同或不同的。
步骤S703,利用初始降噪模型对样本图像进行处理,以得到训练图像/>。
步骤S704,计算训练图像的训练噪声系数和噪声偏置/>。
训练图像可以近似表示为训练噪声系数/>与样本噪声n的乘积与噪声偏置/>之和,即/>。
为了使得与/>之间的差异最小,即使得噪声偏置/>最小,可以使得每个像素点上训练图像/>与/>的差值的平方和最小。也就是说,可以对如下最小化表达式进行求解:
。
其中,表示样本噪声n中的第p个像素,/>表示训练图像/>中的第p个像素,表示原图像/>中的第p个像素。/>
因此,即训练噪声系数可以表示为:
。
预设阈值可以理解为对样本噪声预设的噪声强度,可以理解为训练图像/>的全局参数。训练噪声系数/>可以理解为训练图像/>中样本噪声的噪声强度。
噪声偏置也可以称为训练剩余噪声。根据训练图像/>的表达式,噪声偏置/>可以表示为:
。
将计算得到的训练噪声系数代如上述表达式,可以确定噪声偏置/>。
步骤S705,计算目标损失值。
训练图像的损失函数可以表示为:
。
其中,第一子损失函数表示训练图像/>与原图像/>之间的差异,第二子损失函数/>表示训练图像/>与标签图像/>之间的差异,第三子损失函数/>表示噪声偏置/>与零矩阵之间的差异,/>、/>、/>分别为第一子损失函数/>、第二子损失函数/>、第三子损失函数/>的系数。/>、/>、/>可以均为预设值。第一子损失函数/>、第二子损失函数/>、第三子损失函数/>可以是度量损失函数,通过均方差、平均绝对误差等表示差异。均方差也可以称为平均平方差、平均平方误差或均方误差(mean-square error,MSE)。
例如,第一子损失函数可以表示为/>。
标签图像可以理解为在原图像/>添加的标签噪声得到的,标签噪声是标签系数与样本噪声n的乘积,标签系数的绝对值小于或等于原图像/>对应的预设阈值/>。因此,标签图像/>也可以称为满足预设阈值/>的自适应加噪图像。
标签图像可以是噪声与预设阈值/>、训练噪声系数/>之间的最小值的乘积与原图像/>之和,即,标签图像/>可以表示为:
。
因此,第二子损失函数也可以表示为/>。
训练噪声系数的绝对值超过预设阈值/>的部分,可以理解为标定的降噪强度。
零矩阵是指所有元素均为0的矩阵。因此,第三子损失函数也可以表示为/>,可以理解为噪声偏置项损失。
在损失函数L中设置项,可以防止伪纹理的产生,使得训练得到的噪声模型输出的图像中的剩余噪声与原噪声具有相关性。对于初始噪声模型,剩余噪声可以理解为训练图像/>与原图像/>之间的差异。因此,对于噪声模型,剩余噪声可以理解为噪声模型输出的图像中未被去除的噪声。/>
将训练图像、原图像/>、样本噪声n、预设阈值/>、训练噪声系数/>、噪声偏置/>代入训练图像/>的损失函数的表达式,计算得到目标损失值。其中,第一子损失函数的计算结果可以称为第一损失值,第二子损失函数的计算结果可以称为第二损失值,第三子损失函数的计算结果可以称为第三损失值。
步骤S706,根据目标损失值调整初始降噪模型的参数,以得到降噪模型。
利用误差反向传播(back propagation,BP)算法,可以调整初始降噪模型的参数。
BP算法可以在训练过程中修正初始的神经网络模型中参数的大小,使得神经网络模型的重建误差损失越来越小。具体地,前向传递输入信号直至输出会产生误差损失,通过反向传播误差损失信息来更新初始的神经网络模型中参数,从而使误差损失收敛。反向传播算法是以误差损失为主导的反向传播运动,旨在得到最优的神经网络模型的参数,例如,权重矩阵。
参数调整后的初始降噪模型即为训练得到的降噪模型,可以用于图5所示的图像处理方法。
在损失函数中,可以表示为/>,其中,/>可以称为自适应降噪损失函数。
通过在自适应降噪损失函数的设置过程中考虑样本图像/>对应的预设阈值,即考虑人眼对图像质量感知的因素,降噪模型训练过程中设置的降噪强度即训练噪声系数/>的绝对值超过预设阈值/>的部分更加合理,使得降噪模型的参数调整充分考虑到人眼感知的图像质量的影响。
训练得到的降噪模型能够根据图像的特点对施加有相同噪声的图像实现不同强度的降噪,平衡噪声与图像细节,降低人眼感知质量较高的图像被过度优化而人眼感知质量较差的图像确依然欠优化这种情况出现的可能性。
降噪模型处理得到的图像在满足人眼对图像质量要求的情况下,尽可能避免图像过于平滑而丢失图像细节。降噪模型处理得到的图像对人眼感知更加友好,能够保留更多细节,尽可能获得最好的图像感知质量,提高了用户体验。
通过图6或图7所示的方法训练得到的降噪模型可以应用在图5所示的图像处理方法中。图5所示的图像处理方法与图6或图7所示的降噪模型训练方法可以是相同或不同的电子设备执行的。例如,终端设备可以用于执行图5所示的图像处理方法,服务器可以用于图6或图7所示的降噪模型训练方法。终端设备可以是图1所示的电子设备100。
服务器可以向电子设备发送训练得到的降噪模型。电子设备可以在接收待处理图像的情况下,利用降噪模型对待处理图像进行处理,以得到目标图像。或者,电子设备可以在获取用户的降噪操作的情况下,对待处理图像进行处理,以得到目标图像。
电子设备可以显示如图9中的(a)所示的图形用户界面(graphical userinterface,GUI),该GUI为电子设备的相册界面910。相册界面910包括多个图像的缩略图。当电子设备检测到用户点击相册界面910的多个缩略图中某个缩略图的操作后,可以显示如图9中的(b)所示的另一GUI。该GUI可以称为图像界面920。该图像界面920可以包括用户点击的缩略图对应的图像930,以及降噪图标940。当电子设备检测到用户点击图像界面920中的降噪图标940的操作后,可以将图像930作为待处理图像,利用降噪模型对待处理图像进行处理,以得到目标图像。
应理解,上述举例说明是为了帮助本领域技术人员理解本申请实施例,而非要将本申请实施例限于所例示的具体数值或具体场景。本领域技术人员根据所给出的上述举例说明,显然可以进行各种等价的修改或变化,这样的修改或变化也落入本申请实施例的范围内。
上文结合图1至图10详细描述了本申请实施例的图像处理方法和降噪模型训练方法,下面将结合图10,详细描述本申请的装置实施例。应理解,本申请实施例中的图像处理装置可以执行前述本申请实施例的图像处理方法或降噪模型训练方法,即以下各种产品的具体工作过程,可以参考前述方法实施例中的对应过程。
图10是本申请实施例提供的图像处理装置的示意图。
图像处理装置1000包括:获取单元1010和处理单元1020。
在一些实施例中,图像处理装置1000用于执行图5所示的图像处理方法。
获取单元1010用于,获取待处理图像。
处理单元1020用于,利用降噪模型对所述待处理图像进行处理,以得到目标图像,所述降噪模型是根据目标损失值对初始降噪模型进行参数调整得到的神经网络模型,所述初始降噪模型用于对所述样本图像进行处理,以得到训练图像,所述样本图像是对原图像添加样本噪声得到的,所述目标损失值是根据标签图像和所述样本图像之间的差异确定的,所述标签图像是对所述原图像添加标签噪声得到的,所述标签噪声是根据标签系数与所述样本噪声确定的,所述标签系数的绝对值小于或等于预设阈值,所述训练图像与所述原图像之间的第一差异大于或等于所述标签图像与所述原图像之间的第二差异,所述预设阈值大于0。
可选地,所述标签系数的绝对值等于训练噪声系数的绝对值与所述预设阈值中最小值,所述训练噪声系数是使得剩余噪声最小的训练表示系数,所述剩余噪声是训练表示图像与所述训练图像之间的差异,所述训练表示图像是将训练表示噪声添加在所述原图像上得到的,所述训练表示噪声是所述训练表示系数乘以所述样本噪声得到的,所述标签系数的正负与所述训练噪声系数的正负相同。
可选地,所述目标损失值是对多个子损失值进行加权求和得到的,所述多个子损失值包括第一损失值和第二损失值,所述第一损失值用于表示所述样本图像和所述标签图像之间的差异,所述第二损失值用于表示所述训练图像与训练噪声图像之间的差异,所述训练噪声图像是所述训练表示系数为所述训练噪声系数的情况下的所述训练表示图像。
可选地,所述多个子损失值还包括第三损失值,所述第三损失值用于表示所述样本图像和所述原图像之间的差异。
可选地,所述样本图像的数量为多个,多个所述样本图像对应于多个预设阈值。
可选地,所述多个样本图像中每个样本图像对应的预设阈值是根据图像类别与图像质量阈值的对应关系确定的,每个样本图像对应的预设阈值是使得测试图像的第一图像质量参数大于或等于目标图像质量阈值的最大的测试系数,所述测试图像是对所述原图像添加测试噪声得到的,所述目标图像质量阈值是所述原图像所属的目标图像类别对应的阈值,所述测试噪声是所述样本噪声乘以所述测试系数得到的,所述第一图像质量参数与图像质量正相关,或者每个样本图像的对应的预设阈值是使得测试图像的第二图像质量参数小于或等于目标图像质量阈值的最大的测试系数,所述第二图像质量参数与图像质量负相关,不同的图像类别对应于不同范围的色彩信息。
可选地,人眼对所述原图像感知的第一图像质量与人眼对阈值图像感知的第二图像质量是相同的,所述阈值图像是在所述原图像上添加阈值噪声得到的图像,所述阈值噪声是所述样本图像对应的预设阈值与所述样本噪声的乘积。
在另一些实施例中,图像处理装置1000也可以称为神经网络模型训练装置,用于执行图6所示的降噪模型训练方法。
获取单元1010用于,获取样本图像,所述样本图像是对原图像添加样本噪声得到的。
处理单元1020用于,利用初始降噪模型对所述样本图像进行处理,以得到训练图像。
处理单元1020还用于,对所述原图像添加标签噪声得到的标签图像,所述标签噪声是根据标签系数与所述样本噪声确定的,所述标签系数的绝对值小于或等于预设阈值,所述训练图像与所述原图像之间的第一差异大于或等于所述标签图像与所述原图像之间的第二差异,所述预设阈值大于0。
处理单元1020还用于,根据目标损失值,对所述初始降噪模型进行参数调整,所述目标损失值是根据所述样本图像和所述标签图像之间的差异确定的。
可选地,所述标签系数的绝对值等于训练噪声系数的绝对值与所述预设阈值中最小值,所述训练噪声系数是使得剩余噪声最小的训练表示系数,所述剩余噪声是训练表示图像与所述训练图像之间的差异,所述训练表示图像是将训练表示噪声添加在所述原图像上得到的,所述训练表示噪声是所述训练表示系数乘以所述样本噪声得到的,所述标签系数的正负与所述训练噪声系数的正负相同。
可选地,所述目标损失值是对多个子损失值进行加权求和得到的,所述多个子损失值包括第一损失值和第二损失值,所述第一损失值用于表示所述样本图像和所述标签图像之间的差异,所述第二损失值用于表示所述训练图像与训练噪声图像之间的差异,所述训练噪声图像是所述训练表示系数为所述训练噪声系数的情况下的所述训练表示图像。
可选地,所述多个子损失值还包括第三损失值,所述第三损失值用于表示所述样本图像和所述原图像之间的差异。
可选地,所述样本图像的数量为多个,多个所述样本图像对应于多个预设阈值。
可选地,处理单元1020还用于,根据图像类别与图像质量阈值的对应关系,确定每个样本图像对应的预设阈值,每个样本图像对应的预设阈值是使得测试图像的第一图像质量参数大于或等于目标图像质量阈值的最大的测试系数,所述测试图像是对所述原图像添加测试噪声得到的,所述目标图像质量阈值是所述原图像所属的目标图像类别对应的阈值,所述测试噪声是所述样本噪声乘以所述测试系数得到的,所述第一图像质量参数与图像质量正相关,或者每个样本图像的对应的预设阈值是使得测试图像的第二图像质量参数小于或等于目标图像质量阈值的最大的测试系数,所述第二图像质量参数与图像质量负相关,不同的图像类别对应于不同范围的色彩信息。
可选地,人眼对所述原图像感知的第一图像质量与人眼对阈值图像感知的第二图像质量是相同的,所述阈值图像是在所述原图像上添加阈值噪声得到的图像,所述阈值噪声是所述样本图像对应的预设阈值与所述样本噪声的乘积。
需要说明的是,上述图像处理装置1000以功能单元的形式体现。这里的术语“单元”可以通过软件和/或硬件形式实现,对此不作具体限定。
例如,“单元”可以是实现上述功能的软件程序、硬件电路或二者结合。所述硬件电路可能包括应用特有集成电路(application specific integrated circuit,ASIC)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。
因此,在本申请的实施例中描述的各示例的单元,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请还提供一种芯片,芯片包括数据接口以及一个或多个处理器。当所述一个或多个处理器执行指令时,所述一个或多个处理器通过所述数据接口读取存储器上存储的指令,以实现上述方法实施例中描述的图像处理方法或降噪模型训练方法。
该一个或多个处理器可以是通用处理器或者专用处理器。例如,该一个或多个处理器可以是中央处理器(central processing unit,CPU)、数字信号处理器(digitalsignal processor,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现场可编程门阵列(field programmable gate array,FPGA)或者其它可编程逻辑器件,如分立门、晶体管逻辑器件或分立硬件组件。
该芯片可以作为终端设备或其它电子设备的组成部分。例如,芯片可以位于电子设备100中。
处理器和存储器可以单独设置,也可以集成在一起。例如,处理器和存储器可以集成在终端设备的系统级芯片(system on chip,SOC)上。也就是说,该芯片还可以包括存储器。
存储器上可以存有程序,程序可被处理器运行,生成指令,使得处理器根据指令执行上述方法实施例中描述的图像处理方法或降噪模型训练方法。
可选地,存储器中还可以存储有数据。可选地,处理器还可以读取存储器中存储的数据,该数据可以与程序存储在相同的存储地址,该数据也可以与程序存储在不同的存储地址。
示例性地,存储器可以用于存储本申请实施例中提供的图像处理方法或降噪模型训练方法的相关程序,处理器可以用于调用存储器中存储的图像处理方法或降噪模型训练方法的相关程序,执行本申请实施例的图像处理方法或降噪模型训练方法。
处理器可以用于获取待处理图像;利用降噪模型对所述待处理图像进行处理,以得到目标图像,所述降噪模型是根据目标损失值对初始降噪模型进行参数调整得到的神经网络模型,所述初始降噪模型用于对所述样本图像进行处理,以得到训练图像,所述样本图像是对原图像添加样本噪声得到的,所述目标损失值是根据标签图像和所述样本图像之间的差异确定的,所述标签图像是对所述原图像添加标签噪声得到的,所述标签噪声是根据标签系数与所述样本噪声确定的,所述标签系数的绝对值小于或等于预设阈值,所述训练图像与所述原图像之间的第一差异大于或等于所述标签图像与所述原图像之间的第二差异,所述预设阈值大于或等于0。
又例如,处理器可以用于获取样本图像,所述样本图像是对原图像添加样本噪声得到的;利用初始降噪模型对所述样本图像进行处理,以得到训练图像;对所述原图像添加标签噪声得到的标签图像,所述标签噪声是根据标签系数与所述样本噪声确定的,所述标签系数的绝对值小于或等于预设阈值,所述训练图像与所述原图像之间的第一差异大于或等于所述标签图像与所述原图像之间的第二差异,所述预设阈值大于0;根据目标损失值,对所述初始降噪模型进行参数调整,所述目标损失值是根据所述样本图像和所述标签图像之间的差异确定的。
本申请还提供了一种计算机程序产品,该计算机程序产品被处理器执行时实现本申请中任一方法实施例所述的图像处理方法或降噪模型训练方法。
该计算机程序产品可以存储在存储器中,例如是程序,程序经过预处理、编译、汇编和链接等处理过程最终被转换为能够被处理器执行的可执行目标文件。
本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被计算机执行时实现本申请中任一方法实施例所述的图像处理方法或降噪模型训练方法。该计算机程序可以是高级语言程序,也可以是可执行目标程序。
该计算机可读存储介质例如是存储器。存储器可以是易失性存储器或非易失性存储器,或者,存储器可以同时包括易失性存储器和非易失性存储器。其中,非易失性存储器可以是只读存储器(read-only memory,ROM)、可编程只读存储器(programmable ROM,PROM)、可擦除可编程只读存储器(erasable PROM,EPROM)、电可擦除可编程只读存储器(electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(randomaccess memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(static RAM,SRAM)、动态随机存取存储器(dynamicRAM,DRAM)、同步动态随机存取存储器(synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM,DR RAM)。
在本申请的描述中,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性,以及特定的顺序或先后次序。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本申请中的具体含义。
本申请中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个),可以表示:a, b, c, a-b, a-c, b-c, 或a-b-c,其中a, b, c可以是单个,也可以是多个。
应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的;例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式;例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (15)
1.一种图像处理方法,其特征在于,所述方法包括:
获取待处理图像;
利用降噪模型对所述待处理图像进行处理,以得到目标图像,所述降噪模型是根据目标损失值对初始降噪模型进行参数调整得到的神经网络模型,所述初始降噪模型用于对样本图像进行处理以得到训练图像,所述样本图像是对原图像添加样本噪声得到的,所述目标损失值是根据标签图像和所述样本图像之间的差异确定的,所述标签图像是对所述原图像添加标签噪声得到的,所述标签系数的绝对值等于训练噪声系数的绝对值与预设阈值中最小值,所述训练噪声系数是使得剩余噪声最小的训练表示系数,所述剩余噪声是训练表示图像与所述训练图像之间的差异,所述训练表示图像是将训练表示噪声添加在所述原图像上得到的,所述训练表示噪声是所述训练表示系数乘以所述样本噪声得到的,所述标签系数的正负与所述训练噪声系数的正负相同,所述预设阈值大于0。
2.根据权利要求1所述的方法,其特征在于,所述目标损失值是对多个子损失值进行加权求和得到的,所述多个子损失值包括第一损失值和第二损失值,所述第一损失值用于表示所述样本图像和所述标签图像之间的差异,所述第二损失值用于表示所述训练图像与训练噪声图像之间的差异,所述训练噪声图像是所述训练表示系数为所述训练噪声系数的情况下的所述训练表示图像。
3.根据权利要求2所述的方法,其特征在于,所述多个子损失值还包括第三损失值,所述第三损失值用于表示所述样本图像和所述原图像之间的差异。
4.根据权利要求1-3中任一项所述的方法,其特征在于,所述样本图像的数量为多个,多个所述样本图像对应于多个预设阈值。
5.根据权利要求4所述的方法,其特征在于,多个所述样本图像中每个样本图像对应的预设阈值是根据图像类别与图像质量阈值的对应关系确定的,每个样本图像对应的预设阈值是使得测试图像的第一图像质量参数大于或等于目标图像质量阈值的最大的测试系数,所述测试图像是对所述原图像添加测试噪声得到的,所述目标图像质量阈值是所述原图像所属的目标图像类别对应的阈值,所述测试噪声是所述样本噪声乘以所述测试系数得到的,所述第一图像质量参数与图像质量正相关,或者每个样本图像的对应的预设阈值是使得测试图像的第二图像质量参数小于或等于目标图像质量阈值的最大的测试系数,所述第二图像质量参数与图像质量负相关,不同的图像类别对应于不同范围的色彩信息。
6.根据权利要求1-3中任一项所述的方法,其特征在于,人眼对所述原图像感知的第一图像质量与人眼对阈值图像感知的第二图像质量是相同的,所述阈值图像是在所述原图像上添加阈值噪声得到的图像,所述阈值噪声是所述样本图像对应的预设阈值与所述样本噪声的乘积。
7.一种降噪模型训练方法,其特征在于,所述方法包括:
获取样本图像,所述样本图像是对原图像添加样本噪声得到的;
利用初始降噪模型对所述样本图像进行处理,以得到训练图像;
对所述原图像添加标签噪声得到的标签图像,所述标签噪声是根据标签系数与所述样本噪声确定的,所述标签系数的绝对值等于训练噪声系数的绝对值与预设阈值中最小值,所述训练噪声系数是使得剩余噪声最小的训练表示系数,所述剩余噪声是训练表示图像与所述训练图像之间的差异,所述训练表示图像是将训练表示噪声添加在所述原图像上得到的,所述训练表示噪声是所述训练表示系数乘以所述样本噪声得到的,所述标签系数的正负与所述训练噪声系数的正负相同,所述预设阈值大于0;
根据目标损失值,对所述初始降噪模型进行参数调整,所述目标损失值是根据所述样本图像和所述标签图像之间的差异确定的。
8.根据权利要求7所述的方法,其特征在于,所述目标损失值是对多个子损失值进行加权求和得到的,所述多个子损失值包括第一损失值和第二损失值,所述第一损失值用于表示所述样本图像和所述标签图像之间的差异,所述第二损失值用于表示所述训练图像与训练噪声图像之间的差异,所述训练噪声图像是所述训练表示系数为所述训练噪声系数的情况下的所述训练表示图像。
9.根据权利要求8所述的方法,其特征在于,所述多个子损失值还包括第三损失值,所述第三损失值用于表示所述样本图像和所述原图像之间的差异。
10.根据权利要求7-9中任一项所述的方法,其特征在于,所述样本图像的数量为多个,多个所述样本图像对应于多个预设阈值。
11.根据权利要求10所述的方法,其特征在于,所述方法还包括:根据图像类别与图像质量阈值的对应关系,确定每个样本图像对应的预设阈值,每个样本图像对应的预设阈值是使得测试图像的第一图像质量参数大于或等于目标图像质量阈值的最大的测试系数,所述测试图像是对所述原图像添加测试噪声得到的,所述目标图像质量阈值是所述原图像所属的目标图像类别对应的阈值,所述测试噪声是所述样本噪声乘以所述测试系数得到的,所述第一图像质量参数与图像质量正相关,或者每个样本图像的对应的预设阈值是使得测试图像的第二图像质量参数小于或等于目标图像质量阈值的最大的测试系数,所述第二图像质量参数与图像质量负相关,不同的图像类别对应于不同范围的色彩信息。
12.根据权利要求7-9中任一项所述的方法,其特征在于,人眼对所述原图像感知的第一图像质量与人眼对阈值图像感知的第二图像质量是相同的,所述阈值图像是在所述原图像上添加阈值噪声得到的图像,所述阈值噪声是所述样本图像对应的预设阈值与所述样本噪声的乘积。
13.一种电子设备,其特征在于,包括处理器和存储器,所述存储器用于存储计算机程序,所述处理器用于从所述存储器中调用并运行所述计算机程序,使得所述电子设备执行权利要求1至6中任一项所述的方法,和/或权利要求7-12中任一项所述的方法。
14.一种芯片,其特征在于,包括处理器与数据接口,所述处理器通过所述数据接口读取存储器上存储的指令,以执行如权利要求1至6中任一项所述的方法,和/或权利要求7-12中任一项所述的方法。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储了计算机程序,当所述计算机程序被处理器执行时,使得处理器执行如权利要求1至6中任一项所述的方法,和/或权利要求7-12中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311508220.0A CN117274109B (zh) | 2023-11-14 | 2023-11-14 | 图像处理方法、降噪模型训练方法及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311508220.0A CN117274109B (zh) | 2023-11-14 | 2023-11-14 | 图像处理方法、降噪模型训练方法及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117274109A CN117274109A (zh) | 2023-12-22 |
CN117274109B true CN117274109B (zh) | 2024-04-23 |
Family
ID=89210722
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311508220.0A Active CN117274109B (zh) | 2023-11-14 | 2023-11-14 | 图像处理方法、降噪模型训练方法及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117274109B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117764853A (zh) * | 2024-01-11 | 2024-03-26 | 荣耀终端有限公司 | 人脸图像增强方法和电子设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112598597A (zh) * | 2020-12-25 | 2021-04-02 | 华为技术有限公司 | 一种降噪模型的训练方法及相关装置 |
CN113362259A (zh) * | 2021-07-13 | 2021-09-07 | 商汤集团有限公司 | 图像降噪处理方法、装置、电子设备及存储介质 |
WO2022083026A1 (zh) * | 2020-10-21 | 2022-04-28 | 华中科技大学 | 一种超声图像去噪模型建立方法及超声图像去噪方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11488309B2 (en) * | 2020-08-27 | 2022-11-01 | The Chinese University Of Hong Kong | Robust machine learning for imperfect labeled image segmentation |
-
2023
- 2023-11-14 CN CN202311508220.0A patent/CN117274109B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022083026A1 (zh) * | 2020-10-21 | 2022-04-28 | 华中科技大学 | 一种超声图像去噪模型建立方法及超声图像去噪方法 |
CN112598597A (zh) * | 2020-12-25 | 2021-04-02 | 华为技术有限公司 | 一种降噪模型的训练方法及相关装置 |
CN113362259A (zh) * | 2021-07-13 | 2021-09-07 | 商汤集团有限公司 | 图像降噪处理方法、装置、电子设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
基于改进卷积神经网络的RFID单标签非接触手势识别研究;朱飑凯 等;《太原理工大学学报》;第54卷(第3期);第534-547页 * |
Also Published As
Publication number | Publication date |
---|---|
CN117274109A (zh) | 2023-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113538273B (zh) | 图像处理方法及图像处理装置 | |
WO2021052111A1 (zh) | 图像处理方法及电子装置 | |
WO2021078001A1 (zh) | 一种图像增强方法及装置 | |
CN113810603B (zh) | 点光源图像检测方法和电子设备 | |
CN117274109B (zh) | 图像处理方法、降噪模型训练方法及电子设备 | |
CN111768352B (zh) | 图像处理方法及装置 | |
CN116916151B (zh) | 拍摄方法、电子设备和存储介质 | |
CN115661941B (zh) | 手势识别方法和电子设备 | |
CN115437601B (zh) | 图像排序方法、电子设备、程序产品及介质 | |
EP4113970A1 (en) | Image processing method and device | |
CN114527903A (zh) | 一种按键映射方法、电子设备及系统 | |
CN116703741B (zh) | 一种图像对比度的生成方法、装置和电子设备 | |
CN117499797B (zh) | 图像处理方法及相关设备 | |
CN116193275B (zh) | 视频处理方法及相关设备 | |
CN115760652B (zh) | 扩展图像动态范围的方法和电子设备 | |
CN114363482B (zh) | 一种标定图像的确定方法及电子设备 | |
CN114630153B (zh) | 用于应用处理器的参数传输方法、装置及存储介质 | |
CN114942741B (zh) | 数据传输方法及电子设备 | |
CN116993619B (zh) | 图像处理方法及相关设备 | |
CN115460343B (zh) | 图像处理方法、设备及存储介质 | |
CN116343247B (zh) | 表格图像矫正方法、装置和设备 | |
US20240137659A1 (en) | Point light source image detection method and electronic device | |
CN114339607B (zh) | 测距方法、装置及存储介质 | |
CN117499797A (zh) | 图像处理方法及相关设备 | |
CN117714860A (zh) | 图像处理方法及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |