CN116797493B - 一种图像去噪处理系统 - Google Patents
一种图像去噪处理系统 Download PDFInfo
- Publication number
- CN116797493B CN116797493B CN202310964411.1A CN202310964411A CN116797493B CN 116797493 B CN116797493 B CN 116797493B CN 202310964411 A CN202310964411 A CN 202310964411A CN 116797493 B CN116797493 B CN 116797493B
- Authority
- CN
- China
- Prior art keywords
- image
- downsampling
- layers
- upsampling
- noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 11
- 238000005070 sampling Methods 0.000 claims abstract description 48
- 230000004927 fusion Effects 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 abstract description 13
- 238000012512 characterization method Methods 0.000 abstract description 2
- 238000011161 development Methods 0.000 description 9
- 230000009977 dual effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明涉及图像处理领域,尤其涉及一种图像去噪处理系统,包括:含噪人脸图像A、中间素描图像特征集合B=(B1,B2,……,Bn,……,BM)和文本特征C,所述系统实现以下步骤:对A和B1进行下采样得到第一个中间图像特征D1,对Di和Bi进行下采样得到Di+1,对DM和文本特征C进行注意力特征提取得到注意力图像特征E,对E进行上采样得到第一个中间噪声图像特征F1,对Fj和DM‑j进行上采样得到Fj+1,对FM‑1和D1进行上采样得到预测噪声图像G,根据A和G得到去噪人脸图像,将图像模态下的B、文本模态下的C与A进行信息融合,根据双模态的特征信息提高了对A的表征能力,提高了去噪结果的准确性。
Description
技术领域
本发明涉及图像处理领域,特别是涉及一种图像去噪处理系统。
背景技术
图像去噪任务旨在去除噪声图像中的干扰噪声,得到清晰、高质量的图像,被广泛用于异质人脸识别、图像风格迁移等各种计算机视觉应用中。
在人脸图像的去噪任务中,由于人脸素描图像可以提供人脸的轮廓信息,现有技术通常基于深度网络提取人脸素描图像中的素描图像特征,根据素描图像特征对含噪声的人脸图像进行去噪,来提高去噪结果的准确性。但是,由于人脸素描图像的表达能力有限,当人脸图像中的干扰噪声较多时,无法提供人脸肤色和发色等颜色信息,导致去噪后的人脸图像中可能包含错误的颜色信息,从而降低了去噪结果的准确性。
因此,在人脸图像的去噪场景中,如何提高去噪结果的准确性成为亟待解决的问题。
发明内容
针对上述技术问题,本发明采用的技术方案为一种图像去噪处理系统,包括:含噪人脸图像A、A对应的中间素描图像特征集合B={B1,B2,……,Bn,……,BM}和文本特征C、处理器和存储有计算机程序的存储器,其中,Bn为第n个中间素描图像特征,n=1,2,……,M,M为大于2的整数,M为中间素描图像特征的数量,处理器包括若干个上采样层和若干个下采样层,上采样层的数量和上采样层的数量均为M,当计算机程序被处理器执行时,实现以下步骤:
S1,通过第一个下采样层对A和B1进行下采样,得到第一个中间图像特征D1。
S2,通过第i+1个下采样层对Di和Bi进行下采样,得到第i+1个中间图像特征Di+1,其中,i=1,2,……,M-1。
S3,通过注意力模块对DM和C进行注意力特征提取,得到注意力图像特征E。
S4,通过第一个上采样层对E进行上采样,得到第一个中间噪声图像特征F1。
S5,通过第j+1个上采样层对Fj和DM-j进行上采样,得到第j+1个中间噪声图像特征Fj+1,其中,j=1,2,……,M-2。
S6,通过第M个上采样层对FM-1和D1进行上采样,得到预测噪声图像G。
S7,使用A中任一像素点的像素点值减去G中对应位置的像素点值,得到去噪人脸图像。
本发明至少具有以下有益效果:通过第一个下采样层对A和B1进行下采样,得到第一个中间图像特征D1,通过第i+1个下采样层对Di和Bi进行下采样,得到第i+1个中间图像特征Di+1,通过注意力模块对DM和C进行注意力特征提取,得到注意力图像特征E,通过第一个上采样层对E进行上采样,得到第一个中间噪声图像特征F1,通过第j+1个上采样层对Fj和DM-j进行上采样,得到第j+1个中间噪声图像特征Fj+1,通过第M个上采样层对FM-1和D1进行上采样,得到预测噪声图像G,使用A中任一像素点的像素点值减去G中对应位置的像素点值,得到去噪人脸图像,基于B在图像模态下对A中的人脸轮廓信息进行表征,基于C在文本模态下对A中的人脸肤色、发色等颜色信息进行表征,使用双模态下的特征信息提高了对A的表征能力,并在对A进行特征提取和去噪时将B、C与A进行信息融合,将B和C作为对A进行去噪的特征基础,提高了对A进行去噪结果的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种图像去噪处理系统的执行计算机程序的流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
如图1所示,本实施例一提供了一种图像去噪处理系统,包括:含噪人脸图像A、A对应的中间素描图像特征集合B={B1,B2,……,Bn,……,BM}和文本特征C、处理器和存储有计算机程序的存储器,其中,Bn为第n个中间素描图像特征,n=1,2,……,M,M为大于2的整数,M为中间素描图像特征的数量,处理器包括若干个上采样层和若干个下采样层,上采样层的数量和上采样层的数量均为M,当计算机程序被处理器执行时,实现以下步骤:
S1,通过第一个下采样层对A和B1进行下采样,得到第一个中间图像特征D1。
其中,含噪声人脸图像A是需要进行去噪的彩色图像,中间素描图像特征集合B是通过对A对应的人脸素描图像进行特征提取得到的特征集合,在本实施例中,中间素描图像特征集合B包括M个中间素描图像特征{B1,B2,……,Bi,……,BM},其中,Bi为第i个中间素描图像特征,i=1,2,……,M-1,人脸素描图像是通过黑色线条对对应的人脸图像中的人脸轮廓进行描绘的图像,可以提供人脸的轮廓信息。
文本特征C是通过对A对应的描述文本进行特征提取得到的特征,该描述文本可以由人为判断含噪人脸图像中的人脸肤色和发色等颜色,并使用文本对人脸图像中的人脸肤色、发色等颜色信息进行描述得到,通过对描述文本进行特征提取,可以得到对应的文本特征。
本实施例获取A对应的B和C,基于B在图像模态下对A中的人脸轮廓信息进行表征,基于C在文本模态下对A中的人脸肤色、发色等颜色信息进行表征,使用双模态下的特征信息提高了对A的表征能力,并在对A进行特征提取和去噪时将B、C与A进行信息融合,作为对A进行去噪处理的特征基础,提高了对A进行去噪结果的准确性。
本实施例首先对图像模态下的B与A共同进行图像特征的提取,具体地,通过第一个下采样层对A和B1进行下采样,得到第一个中间图像特征D1,作为图像特征的提取基础。
在一个具体的实施方式中,系统还包括M个第二下采样层,A对应的中间素描图像特征集合B通过如下步骤获取:
通过第一个第二下采样层对A对应的人脸素描图像进行下采样,得到第一个中间素描图像特征B1;
通过第z个第二下采样层对Bz-1进行下采样,得到Bz,其中,z=2,3,……,M。
其中,系统还包括M个第二下采样层,使用M个第二下采样层对A对应的人脸素描图像进行下采样,来提取人脸素描图像对应的中间素描图像特征集合B。
具体地,通过第一个第二下采样层对A对应的人脸素描图像进行下采样,得到第一个中间素描图像特征B1,然后将B1作为第二个第二下采样层的输入,通过第二个第二下采样层对B1进行下采样,得到B2;以此类推,直至通过第N个第二下采样层对BM-1进行下采样,得到BM,作为对A进行去噪的特征基础。
本实施例对A和第一个中间素描图像特征B1进行下采样,来提取第一个中间图像特征D1,将人脸素描图像中表征的人脸轮廓信息与含噪人脸图像中包含的图像信息相融合,提高了对A中人脸信息的表征能力。
S2,通过第i+1个下采样层对Di和Bi进行下采样,得到第i+1个中间图像特征Di+1,其中,i=1,2,……,M-1。
其中,为了提高对A的特征提取准确性,本实施例将上一个下采样层输出的中间图像特征,以及对应的中间素描图像特征作为下一个上采样层的输入,输出下一个上采样层对应的中间图像特征。
具体地,通过第i+1个下采样层对Di和Bi进行下采样,得到第i+1个中间图像特征Di+1,其中,i=1,2,……,M-1,与第一个中间图像特征D1相结合,即可得到M个中间图像特征{D1,D2,……,Di,……,DM},作为对A进行去噪的特征基础。
在一个具体的实施方式中,在S2步骤中还包括如下步骤:
当i=M-1时,通过第M个下采样层对DM-1和BM-1进行下采样,得到采样结果;
对采样结果和BM进行特征融合,得到DM。
其中,当i=M-1时,通过第M个下采样层对DM-1和BM-1进行下采样,将BM-1表征的人脸轮廓信息融合进A的图像特征提取结果中,得到采样结果,然后对采样结果和BM进行特征融合,进一步将BM表征的人脸轮廓信息融合进A的图像特征提取结果中,得到DM,以充分地将提取到的人脸轮廓信息融合进A的图像特征提取结果中,提高了DM对A中人脸信息的表征能力。
在一个具体的实施方式中,对采样结果和BM进行特征融合,得到DM,包括:
将采样结果和BM进行特征相加,以特征相加结果作为DM。
其中,对应层数的下采样层和第二下采样层的模型结构一致,输出的采样结果和BM的特征维度一致,因此,直接将采样结果和BM进行特征相加,以特征相加结果作为DM。
本实施例将上一个下采样层输出的中间图像特征,以及对应的中间素描图像特征作为下一个上采样层的输入,对A和B进行特征迭代提取,得到M个中间图像特征{D1,D2,……,Di,……,DM},将人脸素描图像中表征的人脸轮廓信息与含噪人脸图像中包含的图像信息相融合,提高了对A中人脸信息的表征能力。
S3,通过注意力模块对DM和C进行注意力特征提取,得到注意力图像特征E。
其中,DM为融合了A中的人脸信息和人脸素描图像中的人脸轮廓信息的图像模态下的特征,C为表征A中的人脸肤色、发色等颜色信息的文本模态下的特征,注意力模块用于对两种模态下的DM和C进行交叉注意力计算,得到注意力图像特征E,可以描述DM和C之间的关联关系,从而将人脸轮廓信息、肤色和发色等颜色信息等图像信息相融合,提高了对A进行特征提取的丰富性和准确性。
在一个具体的实施方式中,系统还包括文本编码器和A对应的描述文本,A对应的文本特征C通过如下步骤获取:
使用文本编码器对描述文本进行特征提取,得到C。
其中,描述文本可以由使用文本对人脸图像中的人脸肤色、发色等颜色信息进行描述得到,文本编码器用于对描述文本进行特征提取,得到文本特征C来表征A中的肤色和发色等颜色信息,并存储至数据库中作为对A进行去噪的特征基础,在图像模态之外增加了文本模态的特征来表征A中的人脸特征信息,提高了对A中人脸特征的提取准确性以及对A进行去噪的准确性。
本实施例在图像模态下的B和{D1,D2,……,Di,……,DM}特征之外,增加了文本模态的C特征来表征A中的人脸特征信息,提高了对A中人脸特征的提取准确性以及对A进行去噪的准确性。
S4,通过第一个上采样层对E进行上采样,得到第一个中间噪声图像特征F1。
其中,针对含噪人脸图像A,可以通过预测A中的噪声组成的图像来完成对A的去噪,因此,为了提高去噪结果的准确性,本实施例在E的基础上,使用M个上采样层逐步预测得到噪声图像,具体地,首先通过第一个上采样层对E进行上采样,得到第一个中间噪声图像特征F1。
S5,通过第j+1个上采样层对Fj和DM-j进行上采样,得到第j+1个中间噪声图像特征Fj+1,其中,j=1,2,……,M-2。
其中,为了提高中间噪声图像特征的准确性,本实施例将上一个上采样层输出的中间噪声图像特征,以及对应的中间图像特征作为下一个上采样层的输入,输出下一个上采样层对应的中间噪声图像特征。
具体地,通过第j+1个上采样层对Fj和DM-j进行上采样,得到第j+1个中间噪声图像特征Fj+1,其中,j=1,2,……,M-2,结合第一个中间噪声图像特征F1,即可得到M-1个中间噪声图像特征{F1,F2,……,Fj+1,……,FM-1},作为对A进行去噪的基础。
本实施例将上一个上采样层输出的中间噪声图像特征,以及对应的融合了人脸素描图像中的人脸轮廓信息以及含噪人脸图像中的图像信息的中间图像特征作为下一个上采样层的输入,得到M-1个中间噪声图像特征{F1,F2,……,Fj+1,……,FM-1},提高了中间噪声图像特征的准确性。
S6,通过第M个上采样层对FM-1和D1进行上采样,得到预测噪声图像G。
其中,将第M-1个上采样层输出的FM-1,以及融合了人脸素描图像中的人脸轮廓信息以及含噪人脸图像中的图像信息的D1输入至第M个上采样层中进行上采样,得到预测噪声图像G,提高了预测噪声图像的准确性。G即为预测的A中的噪声组成的图像,作为对A进行去噪的噪声基础。
在一个具体的实施方式中,M个下采样层和M个上采样层的训练过程包括:
获取噪声图像和若干个真实人脸图像,将噪声图像与每个真实人脸图像进行叠加,得到对应真实人脸图像的加噪人脸图像;
针对任一加噪人脸图像,使用M个下采样层对加噪人脸图像进行下采样,得到样本中间图像特征集合D0;
使用M个上采样层对D0进行上采样,得到预测噪声样本;
根据预测噪声样本和噪声图像对M个下采样层和M个上采样层进行训练,得到经训练的M个下采样层和经训练的M个上采样层。
其中,噪声图像是由高斯噪声组成的图像,真实人脸图像是不含噪声的人脸图像,本实施例将噪声图像与每个真实人脸图像进行叠加,可以得到在真实人脸图像的基础上添加噪声的加噪人脸图像,并将加噪人脸图像作为M个下采样层和M个上采样层的训练过程中的训练样本,将噪声图像作为对应的训练标签,对M个下采样层和M个上采样层进行训练,以得到经训练的M个下采样层和经训练的M个上采样层来,作为对A进行去噪的模型基础。
具体地,针对任一加噪人脸图像,首先使用M个下采样层对加噪人脸图像进行下采样,得到样本中间图像特征集合D0,用来表征加噪人脸图像中的图像特征信息,然后使用M个上采样层对D0进行上采样,得到预测噪声样本,作为预测的加噪人脸图像中叠加的噪声。则可根据预测噪声样本和噪声图像对M个下采样层和M个上采样层进行训练,得到经训练的M个下采样层和经训练的M个上采样层。
在一个具体的实施方式中,D0={D1 0,D2 0,……,Dm 0,……,DM 0},其中,Dm0为第m个下采样层输出的样本中间图像特征,m=2,3,……,M;
使用M个下采样层对加噪人脸图像进行下采样,得到样本中间图像特征集合D0,包括:
通过第一个下采样层对加噪人脸图像进行下采样,得到D1 0;
通过第m个下采样层对Dm-1 0进行下采样,得到Dm 0。
其中,样本中间图像特征集合D0={D1 0,D2 0,……,Dm 0,……,DM 0},其中,Dm0为第m个下采样层输出的样本中间图像特征,具体地,首先通过第一个下采样层对加噪人脸图像进行下采样,得到D1 0,然后通过第二个下采样层对D1 0进行下采样,得到D2 0,以此类推,直至通过第M个下采样层对DM-1 0进行下采样,得到DM 0,即可得到样本中间图像特征集合D0作为噪声的预测基础。
在一个具体的实施方式中,F0={F1 0,F2 0,……,Fm 0,……,FM 0},F0为M个上采样层的输出结果的集合,其中,Fm0为第m个上采样层输出的样本中间噪声图像特征,m=2,3,……,M;
使用M个上采样层对D0进行上采样,得到预测噪声样本,包括:
通过第一个上采样层对DM 0进行上采样,得到F1 0;
通过第m个上采样层对Fm-1 0进行上采样,得到Fm 0;
将FM 0确定为预测噪声样本。
其中,DM 0为第M个下采样层输出的样本中间图像特征,是对加噪人脸图像的特征表征能力最强的图像特征,因此,首先通过第一个上采样层对DM 0进行上采样,得到F1 0,然后通过第二个上采样层对F1 0进行上采样,得到F2 0,以此类推,直至通过第M个上采样层对FM-1 0进行上采样,得到FM 0作为预测噪声样本,完成对加噪人脸图像中叠加的噪声的预测。
在一个具体的实施方式中,根据预测噪声样本和噪声图像对M个下采样层和M个上采样层进行训练,得到经训练的M个下采样层和经训练的M个上采样层,包括:
根据预测噪声样本和噪声图像计算损失函数;
根据损失函数更新M个下采样层和M个上采样层的参数,直至损失函数收敛,得到经训练的M个下采样层和经训练的M个上采样层。
其中,M个下采样层和M个上采样层的准确性越高,预测噪声样本和噪声图像之间的相似性越高,因此,本实施例通过计算预测噪声样本和噪声图像之间的交叉熵损失作为损失函数,来更新M个下采样层和M个上采样层的参数,直至损失函数收敛,得到经训练的M个下采样层和经训练的M个上采样层,作为对对A进行去噪的模型基础。来提高去噪结果的准确性。
S7,使用A中任一像素点的像素点值减去G中对应位置的像素点值,得到去噪人脸图像。
其中,G是由预测到的A中的噪声组成的图像,因此,使用A中任一像素点的像素点值减去G中对应位置的像素点值,可以得到去噪人脸图像,减少了A中的干扰噪声,提高了人脸图像的质量。
在一个具体的实施方式中,通过第一个下采样层对A和B1进行下采样,得到第一个中间图像特征D1,包括:
将A作为目标图像,通过第一个下采样层对目标图像和B1进行下采样,得到第一个中间图像特征D1;
在S7步骤之后,还包括:
将去噪人脸图像作为目标图像,返回执行通过第一个下采样层对目标图像和B1进行下采样,得到第一个中间图像特征D1的步骤,直至满足预设条件,得到目标去噪图像,将目标去噪图像作为去噪人脸图像。
其中,上述步骤将A片作为去噪对象,执行步骤S1-S7完成了对A的一次去噪,为了提高去噪效果,本实施例将去噪人脸图像作为去噪对象,重复执行步骤S1-S7,得到目标去噪图像作为最终的去噪人脸图像。
具体地,将A作为目标图像,通过第一个下采样层对目标图像和B1进行下采样,得到第一个中间图像特征D1,通过第i+1个下采样层对Di和Bi进行下采样,得到第i+1个中间图像特征Di+1,通过注意力模块对DM和C进行注意力特征提取,得到注意力图像特征E,通过第一个上采样层对E进行上采样,得到第一个中间噪声图像特征F1,通过第j+1个上采样层对Fj和DM-j进行上采样,得到第j+1个中间噪声图像特征Fj+1,通过第M个上采样层对FM-1和D1进行上采样,得到预测噪声图像G,使用A中任一像素点的像素点值减去G中对应位置的像素点值,得到去噪人脸图像。
然后将去噪人脸图像作为目标图像,返回执行根据目标图像,得到素描图像特征的步骤,直至满足预设条件,得到目标去噪图像,并将目标去噪图像作为去噪人脸图像。
优选的,预设条件可以是去噪操作的执行次数满足预设次数,相应地,通过第一个下采样层对A和B1进行下采样,得到第一个中间图像特征D1,包括:
将执行次数初始化为0,将A作为目标图像,通过第一个下采样层对目标图像和B1进行下采样,得到第一个中间图像特征D1;
在S7步骤之后,还包括:
将执行次数加1,将去噪人脸图像作为目标图像,返回执行通过第一个下采样层对目标图像和B1进行下采样,得到第一个中间图像特征D1的步骤,直至执行次数等于预设次数,得到目标去噪图像,将目标去噪图像作为去噪人脸图像。
其中,预设次数可以根据实际情况进行设定,例如,预设次数可以是5、10或者15等整数。
具体地,在执行步骤S1-S7之前,先将执行次数初始化为0,在执行一次步骤S1-S7,得到去噪人脸图像之后,将执行次数加1,从而在执行预设次数的步骤S1-S7之后,得到最终的目标去噪图像,并将目标去噪图像作为去噪人脸图像,以提高去噪结果的准确性。
本实施例通过第一个下采样层对A和B1进行下采样,得到第一个中间图像特征D1,通过第i+1个下采样层对Di和Bi进行下采样,得到第i+1个中间图像特征Di+1,通过注意力模块对DM和C进行注意力特征提取,得到注意力图像特征E,通过第一个上采样层对E进行上采样,得到第一个中间噪声图像特征F1,通过第j+1个上采样层对Fj和DM-j进行上采样,得到第j+1个中间噪声图像特征Fj+1,通过第M个上采样层对FM-1和D1进行上采样,得到预测噪声图像G,使用A中任一像素点的像素点值减去G中对应位置的像素点值,得到去噪人脸图像,基于B在图像模态下对A中的人脸轮廓信息进行表征,基于C在文本模态下对A中的人脸肤色、发色等颜色信息进行表征,使用双模态下的特征信息提高了对A的表征能力,并在对A进行特征提取和去噪时将B、C与A进行信息融合,将B和C作为对A进行去噪的特征基础,提高了对A进行去噪结果的准确性。
虽然已经通过示例对本发明的一些特定实施例进行了详细说明,但是本领域的技术人员应该理解,以上示例仅是为了进行说明,而不是为了限制本发明的范围。本领域的技术人员还应理解,可以对实施例进行多种修改而不脱离本发明的范围和精神。本发明开的范围由所附权利要求来限定。
Claims (9)
1.一种图像去噪处理系统,其特征在于,所述系统包括:含噪人脸图像A、A对应的中间素描图像特征集合B={B1,B2,……,Bn,……,BM}和文本特征C、处理器和存储有计算机程序的存储器,其中,Bn为第n个中间素描图像特征,n=1,2,……,M,M为大于2的整数,M为中间素描图像特征的数量,处理器包括若干个上采样层和若干个下采样层,上采样层的数量和下采样层的数量均为M,当所述计算机程序被处理器执行时,实现以下步骤:
S1,通过第一个下采样层对A和B1进行下采样,得到第一个中间图像特征D1;
S2,通过第i+1个下采样层对Di和Bi进行下采样,得到第i+1个中间图像特征Di+1,其中,i=1,2,……,M-1;
S3,通过注意力模块对DM和C进行注意力特征提取,得到注意力图像特征E;
S4,通过第一个上采样层对E进行上采样,得到第一个中间噪声图像特征F1;
S5,通过第j+1个上采样层对Fj和DM-j进行上采样,得到第j+1个中间噪声图像特征Fj+1,其中,j=1,2,……,M-2;
S6,通过第M个上采样层对FM-1和D1进行上采样,得到预测噪声图像G;
S7,使用A中任一像素点的像素点值减去G中对应位置的像素点值,得到去噪人脸图像;
其中,所述系统还包括M个第二下采样层,A对应的中间素描图像特征集合B通过如下步骤获取:
通过第一个第二下采样层对A对应的人脸素描图像进行下采样,得到第一个中间素描图像特征B1;
通过第z个第二下采样层对Bz-1进行下采样,得到Bz,其中,z=2,3,……,M。
2.根据权利要求1所述的系统,其特征在于,所述系统还包括文本编码器和A对应的描述文本,A对应的文本特征C通过如下步骤获取:
使用所述文本编码器对所述描述文本进行特征提取,得到C。
3.根据权利要求1所述的系统,其特征在于,在S2步骤中还包括如下步骤:
当i=M-1时,通过第M个下采样层对DM-1和BM-1进行下采样,得到采样结果;
对所述采样结果和BM进行特征融合,得到DM。
4.根据权利要求3所述的系统,其特征在于,所述对所述采样结果和BM进行特征融合,得到DM,包括:
将所述采样结果和BM进行特征相加,以特征相加结果作为DM。
5.根据权利要求1所述的系统,其特征在于,M个下采样层和M个上采样层的训练过程包括:
获取噪声图像和若干个真实人脸图像,将所述噪声图像与每个真实人脸图像进行叠加,得到对应真实人脸图像的加噪人脸图像;
针对任一加噪人脸图像,使用所述M个下采样层对所述加噪人脸图像进行下采样,得到样本中间图像特征集合D0;
使用所述M个上采样层对D0进行上采样,得到预测噪声样本;
根据所述预测噪声样本和所述噪声图像对所述M个下采样层和所述M个上采样层进行训练,得到经训练的M个下采样层和经训练的M个上采样层。
6.根据权利要求5所述的系统,其特征在于,D0={D1 0,D2 0,……,Dm 0,……,DM 0},其中,Dm0为第m个下采样层输出的样本中间图像特征,m=2,3,……,M;
所述使用所述M个下采样层对所述加噪人脸图像进行下采样,得到样本中间图像特征集合D0,包括:
通过第一个下采样层对所述加噪人脸图像进行下采样,得到D1 0;
通过第m个下采样层对Dm-1 0进行下采样,得到Dm 0。
7.根据权利要求5所述的系统,其特征在于,F0={F1 0,F2 0,……,Fm 0,……,FM 0},F0为M个上采样层的输出结果的集合,其中,Fm0为第m个上采样层输出的样本中间噪声图像特征,m=2,3,……,M;
所述使用所述M个上采样层对D0进行上采样,得到预测噪声样本,包括:
通过第一个上采样层对DM 0进行上采样,得到F1 0;
通过第m个上采样层对Fm-1 0进行上采样,得到Fm 0;
将FM 0确定为预测噪声样本。
8.根据权利要求5所述的系统,其特征在于,根据所述预测噪声样本和所述噪声图像对所述M个下采样层和所述M个上采样层进行训练,得到经训练的M个下采样层和经训练的M个上采样层,包括:
根据所述预测噪声样本和所述噪声图像计算损失函数;
根据所述损失函数更新所述M个下采样层和所述M个上采样层的参数,直至所述损失函数收敛,得到经训练的M个下采样层和经训练的M个上采样层。
9.根据权利要求1所述的系统,其特征在于,所述通过第一个下采样层对A和B1进行下采样,得到第一个中间图像特征D1,包括:
将A作为目标图像,通过第一个下采样层对所述目标图像和B1进行下采样,得到第一个中间图像特征D1;
在S7步骤之后,还包括:
将所述去噪人脸图像作为所述目标图像,返回执行通过第一个下采样层对所述目标图像和B1进行下采样,得到第一个中间图像特征D1的步骤,直至满足预设条件,得到目标去噪图像,将所述目标去噪图像作为所述去噪人脸图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310964411.1A CN116797493B (zh) | 2023-08-02 | 2023-08-02 | 一种图像去噪处理系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310964411.1A CN116797493B (zh) | 2023-08-02 | 2023-08-02 | 一种图像去噪处理系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116797493A CN116797493A (zh) | 2023-09-22 |
CN116797493B true CN116797493B (zh) | 2024-01-26 |
Family
ID=88038041
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310964411.1A Active CN116797493B (zh) | 2023-08-02 | 2023-08-02 | 一种图像去噪处理系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116797493B (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102117482A (zh) * | 2011-04-13 | 2011-07-06 | 西安电子科技大学 | 结合结构信息的非局部均值图像去噪方法 |
CN105354798A (zh) * | 2015-08-25 | 2016-02-24 | 西安电子科技大学 | 基于几何先验和分布相似性测度的sar图像去噪方法 |
CN110930332A (zh) * | 2019-11-22 | 2020-03-27 | 河北工程大学 | 一种基于人工智能的数字全息图像去噪方法 |
CN113780330A (zh) * | 2021-04-13 | 2021-12-10 | 北京沃东天骏信息技术有限公司 | 图像校正方法及装置、计算机存储介质、电子设备 |
CN113962873A (zh) * | 2020-07-21 | 2022-01-21 | 武汉Tcl集团工业研究院有限公司 | 一种图像去噪方法、存储介质及终端设备 |
CN114240797A (zh) * | 2021-12-22 | 2022-03-25 | 海南大学 | 一种oct图像去噪方法、装置、设备及介质 |
CN114495245A (zh) * | 2022-04-08 | 2022-05-13 | 北京中科闻歌科技股份有限公司 | 人脸伪造图像鉴别方法、装置、设备以及介质 |
CN114707227A (zh) * | 2022-04-28 | 2022-07-05 | 水利部南京水利水文自动化研究所 | 一种基于数字孪生的大坝安全预警消警方法及系统 |
CN115222630A (zh) * | 2022-08-09 | 2022-10-21 | 中国科学院自动化研究所 | 图像生成方法、图像去噪模型的训练方法和设备 |
CN115239591A (zh) * | 2022-07-28 | 2022-10-25 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、电子设备、存储介质及程序产品 |
CN115797643A (zh) * | 2021-09-08 | 2023-03-14 | 杭州海康威视数字技术股份有限公司 | 一种图像去噪方法、装置、系统、边缘设备及存储介质 |
CN115937033A (zh) * | 2022-12-19 | 2023-04-07 | 北京字跳网络技术有限公司 | 图像生成方法、装置及电子设备 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102019215460A1 (de) * | 2019-10-09 | 2021-04-15 | Siemens Healthcare Gmbh | Verfahren und Vorrichtung zur Rauschreduktion von Bildaufnahmen |
WO2021230708A1 (en) * | 2020-05-15 | 2021-11-18 | Samsung Electronics Co., Ltd. | Image processing method, electronic device and readable storage medium |
-
2023
- 2023-08-02 CN CN202310964411.1A patent/CN116797493B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102117482A (zh) * | 2011-04-13 | 2011-07-06 | 西安电子科技大学 | 结合结构信息的非局部均值图像去噪方法 |
CN105354798A (zh) * | 2015-08-25 | 2016-02-24 | 西安电子科技大学 | 基于几何先验和分布相似性测度的sar图像去噪方法 |
CN110930332A (zh) * | 2019-11-22 | 2020-03-27 | 河北工程大学 | 一种基于人工智能的数字全息图像去噪方法 |
CN113962873A (zh) * | 2020-07-21 | 2022-01-21 | 武汉Tcl集团工业研究院有限公司 | 一种图像去噪方法、存储介质及终端设备 |
CN113780330A (zh) * | 2021-04-13 | 2021-12-10 | 北京沃东天骏信息技术有限公司 | 图像校正方法及装置、计算机存储介质、电子设备 |
CN115797643A (zh) * | 2021-09-08 | 2023-03-14 | 杭州海康威视数字技术股份有限公司 | 一种图像去噪方法、装置、系统、边缘设备及存储介质 |
CN114240797A (zh) * | 2021-12-22 | 2022-03-25 | 海南大学 | 一种oct图像去噪方法、装置、设备及介质 |
CN114495245A (zh) * | 2022-04-08 | 2022-05-13 | 北京中科闻歌科技股份有限公司 | 人脸伪造图像鉴别方法、装置、设备以及介质 |
CN114707227A (zh) * | 2022-04-28 | 2022-07-05 | 水利部南京水利水文自动化研究所 | 一种基于数字孪生的大坝安全预警消警方法及系统 |
CN115239591A (zh) * | 2022-07-28 | 2022-10-25 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、电子设备、存储介质及程序产品 |
CN115222630A (zh) * | 2022-08-09 | 2022-10-21 | 中国科学院自动化研究所 | 图像生成方法、图像去噪模型的训练方法和设备 |
CN115937033A (zh) * | 2022-12-19 | 2023-04-07 | 北京字跳网络技术有限公司 | 图像生成方法、装置及电子设备 |
Non-Patent Citations (2)
Title |
---|
基于双注意力机制的医学超声图像降噪模型;熊晨辰等;《激光与光电子学进展》;第59卷(第2期);411-420 * |
基于生成对抗网络的声呐图像生成及盲去噪方法研究;刘秋逸;《中国优秀硕士学位论文全文数据库(基础科学辑)》(第5期);A005-96 * |
Also Published As
Publication number | Publication date |
---|---|
CN116797493A (zh) | 2023-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112200750B (zh) | 一种超声图像去噪模型建立方法及超声图像去噪方法 | |
CN110210524B (zh) | 一种图像增强模型的训练方法、图像增强方法及装置 | |
CN112150354B (zh) | 联合轮廓增强与去噪统计先验的单幅图像超分辨率方法 | |
CN111259366B (zh) | 一种基于自监督学习的验证码识别器的训练方法和装置 | |
CN110322529B (zh) | 一种基于深度学习辅助艺术绘画的方法 | |
CN111932458B (zh) | 一种基于区域间注意力机制的图像信息提取与生成方法 | |
CN114399440B (zh) | 图像处理方法、图像处理网络训练方法、装置及电子设备 | |
CN111080670A (zh) | 图像提取方法、装置、设备及存储介质 | |
CN110570394A (zh) | 医学图像分割方法、装置、设备及存储介质 | |
CN111914654A (zh) | 一种文本版面分析方法、装置、设备和介质 | |
CN114897741A (zh) | 基于深度残差傅里叶变换的图像盲去模糊方法 | |
CN110084750B (zh) | 基于多层岭回归的单幅图像超分辨率方法 | |
CN113421210B (zh) | 一种基于双目立体视觉的表面点云重建方法 | |
CN116797493B (zh) | 一种图像去噪处理系统 | |
CN115861150A (zh) | 分割模型训练方法、医学图像分割方法、电子设备和介质 | |
CN117834987A (zh) | 基于改进的预训练扩散模型的视频编辑方法 | |
CN116385467B (zh) | 基于自监督学习的脑血管分割方法及相关设备 | |
CN117710295A (zh) | 图像处理方法、装置、设备、介质及程序产品 | |
CN115359046B (zh) | 一种脏器血管分割方法、装置、存储介质及电子设备 | |
CN108122233B (zh) | 基于局部像素综合特征的彩色图像分割方法 | |
CN108460383B (zh) | 基于神经网络与图像分割的图像显著性精化方法 | |
Yuan et al. | A new multiscale residual learning network for HSI inconsistent noise removal | |
CN115619681A (zh) | 基于多粒度Vit自动编码器的图像重建方法 | |
CN115393491A (zh) | 一种基于实例分割和参考帧的水墨视频生成方法及装置 | |
CN112529081A (zh) | 基于高效注意力校准的实时语义分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |