CN117745595A - 图像处理方法、装置、电子设备及存储介质 - Google Patents
图像处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117745595A CN117745595A CN202410180642.8A CN202410180642A CN117745595A CN 117745595 A CN117745595 A CN 117745595A CN 202410180642 A CN202410180642 A CN 202410180642A CN 117745595 A CN117745595 A CN 117745595A
- Authority
- CN
- China
- Prior art keywords
- feature map
- network
- image
- feature
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 161
- 239000012535 impurity Substances 0.000 claims abstract description 80
- 238000000034 method Methods 0.000 claims abstract description 32
- 239000013598 vector Substances 0.000 claims description 111
- 238000000605 extraction Methods 0.000 claims description 100
- 230000004927 fusion Effects 0.000 claims description 95
- 239000011159 matrix material Substances 0.000 claims description 87
- 238000005070 sampling Methods 0.000 claims description 39
- 230000004913 activation Effects 0.000 claims description 23
- 238000010606 normalization Methods 0.000 claims description 22
- 238000004891 communication Methods 0.000 claims description 18
- 238000010586 diagram Methods 0.000 claims description 17
- 238000013507 mapping Methods 0.000 claims description 12
- 230000003213 activating effect Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 8
- 239000000758 substrate Substances 0.000 claims 1
- 230000004075 alteration Effects 0.000 abstract description 6
- 230000006870 function Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本申请涉及一种图像处理方法、装置、电子设备及存储介质，所述方法包括：获取携带有杂质的原始图像，并确定所述原始图像对应的原始特征图；根据所述原始特征图，生成所述原始图像对应的多个不同尺度的目标特征图；根据多个不同尺度的所述目标特征图，生成无杂质的目标图像。如此通过原始图像对应的多个不同尺度的目标特征图，可以生成无杂质的目标图像，其杂质去除的非常干净，不会存在杂质残留，并且能很好的保持原有图像彩色，还原干净、清晰的图像，杂质区域与非杂质区域不会存在色差。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
近年来，随着移动互联网的快速发展，如今通过手机等拍照，进行文档、证件等扫描，成为了许多人的选择，这种方式非常快捷、便利。而当使用手机等拍摄文档、证件等过程中，由于环境光线不足或者遮挡，导致拍摄的图像中存在杂质（例如阴影、噪声、水印、模糊、低分辨率等），造成拍摄的图像不清晰、背景不干净等，为此需要去除图像中的杂质。
目前，对于带有杂质的图像，首先检测图像的杂质区域，然后对杂质区域进行图像修复来去除杂质。但是这种方式通常存在以下缺陷：一方面杂质区域的检测不是很准确，导致杂质区域边缘的杂质很难去除干净，另一方面就是对杂质区域进行图像修复的效果并不好，与非杂质区域存在明显的色差。
发明内容
为了解决上述这种方式通常存在以下缺陷：一方面杂质区域的检测不是很准确，导致杂质区域边缘的杂质很难去除干净，另一方面就是对杂质区域进行图像修复的效果并不好，与非杂质区域存在明显的色差的技术问题，本申请实施例提供了一种图像处理方法、装置、电子设备及存储介质。具体技术方案如下：
在本申请实施例的第一方面，首先提供了一种图像处理方法，所述方法包括：
获取携带有杂质的原始图像，并确定所述原始图像对应的原始特征图；
根据所述原始特征图，生成所述原始图像对应的多个不同尺度的目标特征图；
根据多个不同尺度的所述目标特征图，生成无杂质的目标图像。
在一个可选的实施方式中，所述确定所述原始图像对应的原始特征图，包括：
利用编码器对所述原始图像进行处理，得到所述原始图像对应的原始特征图；
所述根据所述原始特征图，生成所述原始图像对应的多个不同尺度的目标特征图，包括：
利用解码器对所述原始特征图进行处理，得到所述原始图像对应的多个不同尺度的目标特征图；
所述根据多个不同尺度的所述目标特征图，生成无杂质的目标图像，包括：
利用多尺度融合网络对所述多个不同尺度的所述目标特征图进行处理，得到无杂质的目标图像。
在一个可选的实施方式中，所述编码器包括M个特征图生成网络，所述M为正整数；
所述利用编码器对所述原始图像进行处理，得到所述原始图像对应的原始特征图，包括：
迭代执行以下操作，直至得到第M个编码特征图时停止下述操作：
将第i个编码图像输入至第i个所述特征图生成网络，对所述第i个编码图像进行全局特征提取，输出第i个编码特征图，其中，所述第i个编码特征图是第i+1个编码图像，所述i依次为1，2，3，……，M；
其中，第1个编码图像为所述原始图像，第M个编码特征图是所述原始特征图。
在一个可选的实施方式中，所述特征图生成网络包括嵌入网络与全局特征提取网络；
所述将第i个编码图像输入至第i个所述特征图生成网络，对所述第i个编码图像进行全局特征提取，输出第i个编码特征图，包括：
利用第i个所述特征图生成网络中的所述嵌入网络，对所述第i个编码图像进行以下处理：
对所述第i个编码图像进行切割，得到多个编码子块；
针对任一所述编码子块，将所述编码子块映射成编码嵌入向量；
对多个所述编码嵌入向量进行拼接，得到编码嵌入向量矩阵；
利用第i个所述特征图生成网络中的所述全局特征提取网络，对所述编码嵌入向量矩阵进行全局特征提取处理，得到第i个编码特征图。
在一个可选的实施方式中，所述利用第i个所述特征图生成网络中的所述全局特征提取网络，对所述编码嵌入向量矩阵进行全局特征提取处理，得到第i个编码特征图，包括：
利用第i个所述特征图生成网络中的所述全局特征提取网络，对所述编码嵌入向量矩阵进行以下全局特征提取处理：
对所述编码嵌入向量矩阵进行卷积处理，得到第一编码卷积结果；
对所述第一编码卷积结果进行归一化处理，得到编码归一化结果；
将所述编码归一化结果与所述编码嵌入向量矩阵进行线性加权，得到编码加权结果；
对所述编码加权结果进行卷积处理，得到第二编码卷积结果；
对所述第二编码卷积结果进行激活处理，得到编码激活结果；
将所述编码激活结果与所述编码嵌入向量矩阵进行合并，得到第i个编码特征图。
在一个可选的实施方式中，所述解码器包括M-1个特征图生成网络和M个上采样网络；
所述利用解码器对所述原始特征图进行处理，得到所述原始图像对应的多个不同尺度的目标特征图，包括：
将所述原始特征图输入至第M个所述上采样网络，对所述原始特征图进行上采样处理，得到第M个尺度的目标特征图；
迭代执行以下操作，直至得到第1个尺度的目标特征图时停止下述操作：
将第j+1个尺度的目标特征图输入至第j个所述特征图生成网络，对所述第j+1个尺度的目标特征图进行全局特征提取处理，输出第j个解码特征图，其中，所述j依次为M-1，……，3，2，1；
将所述第j个解码特征图输入至第j个所述上采样网络，对所述第j个解码特征图进行上采样处理，得到第j个尺度的目标特征图。
在一个可选的实施方式中，所述特征图生成网络包括嵌入网络与全局特征提取网络；
所述将第j+1个尺度的目标特征图输入至第j个所述特征图生成网络，对所述第j+1个尺度的目标特征图进行全局特征提取处理，输出第j个解码特征图，包括：
利用第j个所述特征图生成网络中的所述嵌入网络，对所述第j+1个尺度的目标特征图进行以下处理：
对所述第j+1个尺度的目标特征图进行切割，得到多个解码子块；
针对任一所述解码子块，将所述解码子块映射成解码嵌入向量；
对多个所述解码嵌入向量进行拼接，得到解码嵌入向量矩阵；
利用第j个所述特征图生成网络中的所述全局特征提取网络，对所述解码嵌入向量矩阵进行全局特征提取处理，得到第j个解码特征图。
在一个可选的实施方式中，所述利用第j个所述特征图生成网络中的所述全局特征提取网络，对所述解码嵌入向量矩阵进行全局特征提取处理，得到第j个解码特征图，包括：
利用第j个所述特征图生成网络中的所述全局特征提取网络，对所述解码嵌入向量矩阵进行以下全局特征提取处理：
对所述解码嵌入向量矩阵进行卷积处理，得到第一解码卷积结果；
对所述第一解码卷积结果进行归一化处理，得到解码归一化结果；
将所述解码归一化结果与所述解码嵌入向量矩阵进行线性加权，得到解码加权结果；
对所述解码加权结果进行卷积处理，得到第二解码卷积结果；
对所述第二解码卷积结果进行激活处理，得到解码激活结果；
将所述解码激活结果与所述解码嵌入向量矩阵进行合并，得到第j个解码特征图。
在一个可选的实施方式中，所述将所述第j个解码特征图输入至第j个所述上采样网络，对所述第j个解码特征图进行上采样处理，得到第j个尺度的目标特征图，包括：
确定与解码器中第j个所述特征图生成网络同层级的编码器中的第j个所述特征图生成网络；
将编码器中第j个所述特征图生成网络输出的第j个编码特征图与所述第j个解码特征图进行叠加，得到叠加特征图；
将所述叠加特征图输入至第j个所述上采样网络，对所述叠加特征图进行上采样处理，得到第j个尺度的目标特征图。
在一个可选的实施方式中，所述多尺度融合网络包括M个全卷积网络、融合网络和重建网络；
所述利用多尺度融合网络对所述多个不同尺度的所述目标特征图进行处理，得到无杂质的目标图像，包括：
针对第k个尺度的所述目标特征图，利用对应的第k个所述全卷积网络，对第k个尺度的所述目标特征图进行全卷积处理，得到第k个卷积特征图，所述k依次为1，2，3，……，M；
利用所述融合网络，对M个所述卷积特征图进行融合，得到融合特征图；
利用所述重建网络对所述融合特征图进行重建，得到与所述原始图像分辨率大小一致的无杂质的目标图像。
在一个可选的实施方式中，所述利用所述融合网络，对M个所述卷积特征图进行融合，得到融合特征图，包括：
利用所述融合网络，对M个所述卷积特征图进行叠加，得到融合特征图。
在一个可选的实施方式中，所述利用所述重建网络对所述融合特征图进行重建，得到与所述原始图像分辨率大小一致的无杂质的目标图像，包括：
将所述融合特征图输入至所述重建网络，对所述融合特征图进行以下重建处理：
对所述融合特征图进行卷积处理，得到融合卷积结果；
对所述融合卷积结果进行上采样处理，得到上采样处理后的所述融合卷积结果；
对上采样处理后的所述融合卷积结果进行卷积处理，得到与所述原始图像分辨率大小一致的无杂质的目标图像。
在本申请实施例的第二方面，还提供了一种图像处理装置，所述装置包括：
图像获取模块，用于获取携带有杂质的原始图像；
特征图确定模块，用于确定所述原始图像对应的原始特征图；
特征图生成模块，用于根据所述原始特征图，生成所述原始图像对应的多个不同尺度的目标特征图；
图像生成模块，用于根据多个不同尺度的所述目标特征图，生成无杂质的目标图像。
在一个可选的实施方式中，所述特征图确定模块具体用于：
利用编码器对所述原始图像进行处理，得到所述原始图像对应的原始特征图；
所述特征图生成模块具体用于：
利用解码器对所述原始特征图进行处理，得到所述原始图像对应的多个不同尺度的目标特征图；
所述图像生成模块具体用于：
利用多尺度融合网络对所述多个不同尺度的所述目标特征图进行处理，得到无杂质的目标图像。
在一个可选的实施方式中，所述编码器包括M个特征图生成网络，所述M为正整数；
所述特征图确定模块具体包括：
迭代子模块，用于迭代执行以下操作，直至得到第M个编码特征图时停止下述操作：
特征图确定子模块，用于将第i个编码图像输入至第i个所述特征图生成网络，对所述第i个编码图像进行全局特征提取，输出第i个编码特征图，其中，所述第i个编码特征图是第i+1个编码图像，所述i依次为1，2，3，……，M；
其中，第1个编码图像为所述原始图像，第M个编码特征图是所述原始特征图。
在一个可选的实施方式中，所述特征图生成网络包括嵌入网络与全局特征提取网络；
所述特征图确定子模块具体包括：
编码图像处理单元，用于利用第i个所述特征图生成网络中的所述嵌入网络，对所述第i个编码图像进行以下处理：
对所述第i个编码图像进行切割，得到多个编码子块；
针对任一所述编码子块，将所述编码子块映射成编码嵌入向量；
对多个所述编码嵌入向量进行拼接，得到编码嵌入向量矩阵；
编码嵌入向量矩阵处理单元，用于利用第i个所述特征图生成网络中的所述全局特征提取网络，对所述编码嵌入向量矩阵进行全局特征提取处理，得到第i个编码特征图。
在一个可选的实施方式中，所述编码嵌入向量矩阵处理单元具体用于：
利用第i个所述特征图生成网络中的所述全局特征提取网络，对所述编码嵌入向量矩阵进行以下全局特征提取处理：
对所述编码嵌入向量矩阵进行卷积处理，得到第一编码卷积结果；
对所述第一编码卷积结果进行归一化处理，得到编码归一化结果；
将所述编码归一化结果与所述编码嵌入向量矩阵进行线性加权，得到编码加权结果；
对所述编码加权结果进行卷积处理，得到第二编码卷积结果；
对所述第二编码卷积结果进行激活处理，得到编码激活结果；
将所述编码激活结果与所述编码嵌入向量矩阵进行合并，得到第i个编码特征图。
在一个可选的实施方式中，所述解码器包括M-1个特征图生成网络和M个上采样网络；
所述特征图生成模块具体包括：
第M个尺度的目标特征图生成子模块，用于将所述原始特征图输入至第M个所述上采样网络，对所述原始特征图进行上采样处理，得到第M个尺度的目标特征图；
迭代子模块，用于迭代执行以下操作，直至得到第1个尺度的目标特征图时停止下述操作：
解码特征图生成子模块，用于将第j+1个尺度的目标特征图输入至第j个所述特征图生成网络，对所述第j+1个尺度的目标特征图进行全局特征提取处理，输出第j个解码特征图，其中，所述j依次为M-1，……，3，2，1；
第j个尺度的目标特征图生成子模块，用于将所述第j个解码特征图输入至第j个所述上采样网络，对所述第j个解码特征图进行上采样处理，得到第j个尺度的目标特征图。
在一个可选的实施方式中，所述特征图生成网络包括嵌入网络与全局特征提取网络；
所述解码特征图生成子模块具体包括：
目标特征图处理单元，用于利用第j个所述特征图生成网络中的所述嵌入网络，对所述第j+1个尺度的目标特征图进行以下处理：
对所述第j+1个尺度的目标特征图进行切割，得到多个解码子块；
针对任一所述解码子块，将所述解码子块映射成解码嵌入向量；
对多个所述解码嵌入向量进行拼接，得到解码嵌入向量矩阵；
解码嵌入向量矩阵处理单元，用于利用第j个所述特征图生成网络中的所述全局特征提取网络，对所述解码嵌入向量矩阵进行全局特征提取处理，得到第j个解码特征图。
在一个可选的实施方式中，所述解码嵌入向量矩阵处理单元具体用于：
利用第j个所述特征图生成网络中的所述全局特征提取网络，对所述解码嵌入向量矩阵进行以下全局特征提取处理：
对所述解码嵌入向量矩阵进行卷积处理，得到第一解码卷积结果；
对所述第一解码卷积结果进行归一化处理，得到解码归一化结果；
将所述解码归一化结果与所述解码嵌入向量矩阵进行线性加权，得到解码加权结果；
对所述解码加权结果进行卷积处理，得到第二解码卷积结果；
对所述第二解码卷积结果进行激活处理，得到解码激活结果；
将所述解码激活结果与所述解码嵌入向量矩阵进行合并，得到第j个解码特征图。
在一个可选的实施方式中，所述第j个尺度的目标特征图生成子模块具体用于：
确定与解码器中第j个所述特征图生成网络同层级的编码器中的第j个所述特征图生成网络；
将编码器中第j个所述特征图生成网络输出的第j个编码特征图与所述第j个解码特征图进行叠加，得到叠加特征图；
将所述叠加特征图输入至第j个所述上采样网络，对所述叠加特征图进行上采样处理，得到第j个尺度的目标特征图。
在一个可选的实施方式中，所述多尺度融合网络包括M个全卷积网络、融合网络和重建网络；
所述图像生成模块具体包括：
目标特征图处理子模块，用于针对第k个尺度的所述目标特征图，利用对应的第k个所述全卷积网络，对第k个尺度的所述目标特征图进行全卷积处理，得到第k个卷积特征图，所述k依次为1，2，3，……，M；
特征图融合模块，用于利用所述融合网络，对M个所述卷积特征图进行融合，得到融合特征图；
特征图重建子模块，用于利用所述重建网络对所述融合特征图进行重建，得到与所述原始图像分辨率大小一致的无杂质的目标图像。
在一个可选的实施方式中，所述特征图融合模块具体用于：
利用所述融合网络，对M个所述卷积特征图进行叠加，得到融合特征图。
在一个可选的实施方式中，所述特征图重建子模块具体用于：
将所述融合特征图输入至所述重建网络，对所述融合特征图进行以下重建处理：
对所述融合特征图进行卷积处理，得到融合卷积结果；
对所述融合卷积结果进行上采样处理，得到上采样处理后的所述融合卷积结果；
对上采样处理后的所述融合卷积结果进行卷积处理，得到与所述原始图像分辨率大小一致的无杂质的目标图像。
在本申请实施例的第三方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述第一方面中任一所述的图像处理方法。
在本申请实施例的第四方面，还提供了一种存储介质，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面中任一所述的图像处理方法。
在本申请实施例的第五方面，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的图像处理方法。
本申请实施例提供的技术方案，获取携带有杂质的原始图像，并确定原始图像对应的原始特征图，根据原始特征图，生成原始图像对应的多个不同尺度的目标特征图，根据多个不同尺度的目标特征图，生成无杂质的目标图像。通过确定携带有杂质的原始图像对应的原始特征图，并据此生成原始图像对应的多个不同尺度的目标特征图，多个不同尺度的目标特征图，充分保留了多个不同尺度的特征信息，多个不同尺度的特征信息既包括更细致的纹理特征信息，也包括更丰富的语义信息，融合多个不同尺度的目标特征图，生成无杂质的目标图像，如此通过原始图像对应的多个不同尺度的目标特征图，可以生成无杂质的目标图像，其杂质去除的非常干净，不会存在杂质残留，并且能很好的保持原有图像彩色，还原干净、清晰的图像，杂质区域与非杂质区域不会存在色差。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1为本申请实施例中示出的一种图像处理方法的实施流程示意图；
图2为本申请实施例中示出的一种原始文档图像中阴影去除前后的对比效果示意图；
图3为本申请实施例中示出的另一种图像处理方法的实施流程示意图；
图4为本申请实施例中示出的一种编码器的内部结构示意图；
图5为本申请实施例中示出的另一种编码器的内部结构意图；
图6为本申请实施例中示出的一种全局特征提取网络的内部结构示意图；
图7为本申请实施例中示出的一种编码器、解码器的内部结构示意图；
图8为本申请实施例中示出的另一种编码器、解码器的内部结构示意图；
图9为本申请实施例中示出的另一种编码器、解码器的内部结构示意图；
图10为本申请实施例中示出的一种杂质去除网络的内部结构示意图；
图11为本申请实施例中示出的一种重建网络的内部结构示意图；
图12为本申请实施例中示出的一种图像处理装置的结构示意图；
图13为本申请实施例中示出的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
下文的公开提供了许多不同的实施例或例子用来实现本申请的不同结构。为了简化本申请的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本申请。此外，本申请可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。
如图1所示，为本申请实施例提供的一种图像处理方法的实施流程示意图，该方法应用于电子设备，具体可以包括以下步骤：
S101，获取携带有杂质的原始图像，并确定原始图像对应的原始特征图。
在本申请实施例中，可以获取携带有杂质的原始图像，这里的杂质包括阴影，意味着实质获取的是携带有阴影的原始图像。其中，对于携带有阴影的原始图像，其中的对象可以是文档、证件等，意味着其可以是携带有阴影的文档图像，或者也可以是携带有阴影的证件图像。
需要说明的是，对文档、证件等对象进行拍摄时，由于环境光线不足或者遮挡，导致拍摄的图像中存在阴影，造成拍摄的图像不清晰、背景不干净等，这里拍摄的图像即携带有阴影的原始图像，本申请实施例对此不作限定。
此外，对于携带有杂质的原始图像，可以确定该原始图像对应的原始特征图。例如，对于携带有阴影的文档图像，可以确定携带有阴影的文档图像对应的原始特征图。
需要说明的是，对于本申请实施例提供的图像处理方法，还可以用于去噪、去水印、去模糊、超分辨率等其他图像增强任务，由此上述杂质可以是噪声、水印、模糊或者低分辨率，意味着获取携带有噪声、水印、模糊或者低分辨率的原始图像，后续可以得到去噪、去水印、去模糊或者高分辨率的目标图像。
S102，根据原始特征图，生成原始图像对应的多个不同尺度的目标特征图。
在本申请实施例中，对于携带有杂质（例如阴影、噪声、水印、模糊或者低分辨率等）的原始图像对应的原始特征图，可以根据该原始特征图，生成原始图像对应的多个不同尺度的目标特征图。
需要说明的是，对于不同尺度，指的是不同分辨率，例如3、4、5、或6个不同分辨率的目标特征图，例如生成高分辨率的目标特征图、中分辨率的目标特征图、低分辨率的目标特征图等3个不同分辨率的目标特征图，其中，分辨率大于第一阈值的目标特征图是高分辨率的目标特征图，分辨率小于第一阈值且大于第二阈值的目标特征图是中分辨率的目标特征图，分辨率小于第二阈值且大于第三阈值的目标特征图是低分辨率的目标特征图，第一阈值＞第二阈值＞第三阈值，对于第一阈值、第二阈值、第三阈值可以根据实际需求进行选择，例如第三阈值是128*128。
S103，根据多个不同尺度的目标特征图，生成无杂质的目标图像。
在本申请实施例中，对于原始图像对应的多个不同尺度的目标特征图，多个不同尺度的目标特征图，充分保留了多个不同尺度的特征信息，多个不同尺度的特征信息既包括更细致的纹理特征信息，也包括更丰富的语义信息，可以融合多个不同尺度的目标特征图，生成无杂质的目标图像，如此可以去除原始图像中的杂质，例如去除原始图像中的阴影。
例如，对于携带有阴影的原始文档图像对应的多个不同分辨率的目标特征图，可以根据多个不同分辨率的目标特征图，生成无阴影的目标文档图像，如此可以去除原始文档图像中的阴影，如图2所示。
通过上述对本申请实施例提供的技术方案的描述，获取携带有杂质的原始图像，并确定原始图像对应的原始特征图，根据原始特征图，生成原始图像对应的多个不同尺度的目标特征图，根据多个不同尺度的目标特征图，生成无杂质的目标图像。
通过确定携带有杂质的原始图像对应的原始特征图，并据此生成原始图像对应的多个不同尺度的目标特征图，多个不同尺度的目标特征图，充分保留了多个不同尺度的特征信息，多个不同尺度的特征信息既包括更细致的纹理特征信息，也包括更丰富的语义信息，融合多个不同尺度的目标特征图，生成无杂质的目标图像，如此通过原始图像对应的多个不同尺度的目标特征图，可以生成无杂质的目标图像，其杂质去除的非常干净，不会存在杂质残留，并且能很好的保持原有图像彩色，还原干净、清晰的图像，杂质区域与非杂质区域不会存在色差。
此外，在本申请实施例中，设计了一种杂质去除网络，该杂质去除网络架构由三个部分组成，分别为编码器、解码器和多尺度网络，根据该杂质去除网络，可以实现原始图像中杂质的去除。基于此，如图3所示，为本申请实施例提供的另一种图像处理方法的实施流程示意图，该方法应用于电子设备，具体可以包括以下步骤：
S301，获取携带有杂质的原始图像。
在本申请实施例中，本步骤与上述步骤S101类似，本申请实施例在此不再一一赘述。
S302，利用编码器对原始图像进行处理，得到原始图像对应的原始特征图。
在本申请实施例中，对于杂质去除网络，其中包括编码器，首先由编码器对携带有杂质的原始图像进行处理，得到原始图像对应的原始特征图。其中，编码器由M个特征图生成网络组成，M为正整数，并且这M个特征图生成网络，可以各不一样，即其中的网络参数各不相同。
由此，迭代执行以下操作，直至得到第M个编码特征图时停止下述操作：将第i个编码图像输入至第i个特征图生成网络，对第i个编码图像进行全局特征提取，输出第i个编码特征图，其中，第i个编码特征图是第i+1个编码图像，i依次为1，2，3，……，M；其中，第1个编码图像为原始图像，第M个编码特征图是原始特征图。
例如，如图4所示，编码器由3个特征图生成网络组成，由此迭代执行以下操作，直至得到第3个编码特征图时停止下述操作：将原始图像作为第1个编码图像输入至第1个特征图生成网络，对第1个编码图像进行全局特征提取，输出第1个编码特征图；将第1个特征图生成网络输出的第1个编码特征图作为第2个编码图像输入至第2个特征图生成网络，对第2个编码图像进行全局特征提取，输出第2个编码特征图；将第2个特征图生成网络输出的第2个编码特征图作为第3个编码图像输入至第3个特征图生成网络，对第3个编码图像进行全局特征提取，输出第3个编码特征图，第3个编码特征图即原始特征图。
其中，对于特征图生成网络包括嵌入（Embeding）网络与全局特征提取网络，这里每个特征图生成网络中的全局特征提取网络可以各不相同。由此上述将第i个编码图像输入至第i个特征图生成网络，对第i个编码图像进行全局特征提取，输出第i个编码特征图，具体是利用第i个特征图生成网络中的嵌入网络，对第i个编码图像进行以下处理：对第i个编码图像进行切割，得到多个编码子块；针对任一编码子块，将编码子块映射成编码嵌入向量；对多个编码嵌入向量进行拼接，得到编码嵌入向量矩阵；利用第i个特征图生成网络中的全局特征提取网络，对编码嵌入向量矩阵进行全局特征提取处理，得到第i个编码特征图。
例如，如图5所示，对于每个特征图生成网络，均包括嵌入网络与全局特征提取网络，意味着编码器的内部由嵌入网络与全局特征提取网络重复堆叠三次组成。以第1个特征图生成网络为例，其余特征图生成网络的处理类似，利用第1个特征图生成网络中的嵌入网络，对第1个编码图像（即原始图像）进行以下处理：对第1个编码图像进行切割，得到多个（例如N个，N为正整数）编码子块，每个编码子块的大小是n*n；针对任一编码子块，将编码子块映射成m维的编码嵌入向量；对多个编码嵌入向量进行拼接，得到（例如N*m的）编码嵌入向量矩阵；利用第2个特征图生成网络中的全局特征提取网络，对编码嵌入向量矩阵进行全局特征提取处理，得到第1个编码特征图。
需要说明的是，对第i个编码图像进行切割，得到多个（例如N个，N为正整数）编码子块，每个编码子块的大小是n*n，这里如果编码子块的大小不足以构成n*n的话，可以利用0像素对编码子块进行填充，以使编码子块的大小为n*n，本申请实施例对此不作限定。
另外，对于全局特征提取网络，其内部的结构如图6所示，包括第一卷积、Softmax（归一化函数）、线性加权、第二卷积、激活、合并等各个部分。
对此，利用第i个特征图生成网络中的全局特征提取网络，对编码嵌入向量矩阵进行全局特征提取处理，得到第i个编码特征图，具体可以是利用第i个特征图生成网络中的全局特征提取网络，对编码嵌入向量矩阵进行以下全局特征提取处理：对编码嵌入向量矩阵进行卷积处理，得到第一编码卷积结果；对第一编码卷积结果进行归一化处理，得到编码归一化结果；将编码归一化结果与编码嵌入向量矩阵进行线性加权，得到编码加权结果；对编码加权结果进行卷积处理，得到第二编码卷积结果；对第二编码卷积结果进行激活处理，得到编码激活结果；将编码激活结果与编码嵌入向量矩阵进行合并，得到第i个编码特征图。
需要说明的是，对于全局特征提取网络，负责将上层输入的编码嵌入向量矩阵做特征变换，并进行注意力操作，获取图像的全局信息。编码嵌入向量矩阵作为输入，先进行卷积操作，降低维度，然后经过Softmax处理，Softmax处理后与编码嵌入向量矩阵进行线性加权操作（可以简单理解为相乘），加权后的结果再进行卷积，并输入激活函数进一步处理，得到的结果与编码嵌入向量矩阵进行合并（简单理解为相加），最终得到编码特征图。经过全局特征提取网络一系列的处理后，输出的编码特征图能够保留更多的全局特征信息。
S303，利用解码器对原始特征图进行处理，得到原始图像对应的多个不同尺度的目标特征图。
在本申请实施例中，对于杂质去除网络，其中包括编码器，可以利用编码器对原始特征图进行处理，得到原始图像对应的多个不同尺度的目标特征图。其中，解码器包括M-1个特征图生成网络和M个上采样网络，并且这M-1个特征图生成网络可以各不相同，M个上采样网络可以各不相同。
由此，将原始特征图输入至第M个上采样网络，对原始特征图进行上采样处理，得到第M个尺度的目标特征图；迭代执行以下操作，直至得到第1个尺度的目标特征图时停止下述操作：将第j+1个尺度的目标特征图输入至第j个特征图生成网络，对第j+1个尺度的目标特征图进行全局特征提取处理，输出第j个解码特征图，其中，j依次为M-1，……，3，2，1；将第j个解码特征图输入至第j个上采样网络，对第j个解码特征图进行上采样处理，得到第j个尺度的目标特征图。
例如，如图7所示，对于解码器由2个特征图生成网络和3个上采样网络组成，由此将原始特征图输入至第3个上采样网络，对原始特征图进行上采样处理，得到低尺度（即第3个尺度，也即上述的低分辨率）的目标特征图；迭代执行以下操作，直至得到第1个尺度的目标特征图时停止下述操作：将低尺度（即第3个尺度，也即上述的低分辨率）的目标特征图输入至第2个特征图生成网络，对低尺度（即第3个尺度，也即上述的低分辨率）的目标特征图进行全局特征提取处理，输出第2个解码特征图，将第2个解码特征图输入至第2个上采样网络，对第2个解码特征图进行上采样处理，得到中尺度（即第2个尺度，也即上述的中分辨率）的目标特征图；将中尺度（即第2个尺度，也即上述的中分辨率）的目标特征图输入至第1个特征图生成网络，对中尺度（即第2个尺度，也即上述的中分辨率）的目标特征图进行全局特征提取处理，输出第1个解码特征图，将第1个解码特征图输入至第1个上采样网络，对第1个解码特征图进行上采样处理，得到高尺度（即第1个尺度，也即上述的高分辨率）的目标特征图。
其中，对于特征图生成网络包括嵌入网络与全局特征提取网络，这里每个特征图生成网络中的全局特征提取网络可以各不相同。由此上述将第j+1个尺度的目标特征图输入至第j个特征图生成网络，对第j+1个尺度的目标特征图进行全局特征提取处理，输出第j个解码特征图，具体是利用第j个特征图生成网络中的嵌入网络，对第j+1个尺度的目标特征图进行以下处理：对第j+1个尺度的目标特征图进行切割，得到多个解码子块；针对任一解码子块，将解码子块映射成解码嵌入向量；对多个解码嵌入向量进行拼接，得到解码嵌入向量矩阵；利用第j个特征图生成网络中的全局特征提取网络，对解码嵌入向量矩阵进行全局特征提取处理，得到第j个解码特征图。
例如，如图8所示，对于每个特征图生成网络，均包括嵌入网络与全局特征提取网络，意味着解码器的内部由嵌入网络与全局特征提取网络重复堆叠两次组成，不同之处在于，编码器输入、输出是自顶向下，而解码器是自底向上。此外，解码器还有3个上采样网络，可以将低分辨率特征图进行上采样，扩大分辨率，从下往上的分辨率依次扩大。如此以第2个特征图生成网络为例，其余特征图生成网络的处理类似，利用第2个特征图生成网络中的嵌入网络，对低尺度（即第3个尺度）的目标特征图进行以下处理：对低尺度（即第3个尺度）的目标特征图进行切割，得到多个（例如N个，N为正整数）解码子块，每个编码子块的大小是n*n；针对任一解码子块，将解码子块映射成m维的解码嵌入向量；对多个解码嵌入向量进行拼接，得到（例如N*m的）解码嵌入向量矩阵；利用第2个特征图生成网络中的全局特征提取网络，对解码嵌入向量矩阵进行全局特征提取处理，得到第2个解码特征图。
需要说明的是，对第j+1个尺度的目标特征图进行切割，得到多个（例如N个，N为正整数）解码子块，每个解码子块的大小是n*n，这里如果解码子块的大小不足以构成n*n的话，可以利用0像素对解码子块进行填充，以使解码子块的大小为n*n，本申请实施例对此不作限定。
另外，对于全局特征提取网络，其内部的结构如图6所示，包括第一卷积、Softmax（归一化函数）、线性加权、第二卷积、激活、合并等各个部分。
对于利用第j个特征图生成网络中的全局特征提取网络，对解码嵌入向量矩阵进行全局特征提取处理，得到第j个解码特征图，具体可以是利用第j个特征图生成网络中的全局特征提取网络，对解码嵌入向量矩阵进行以下全局特征提取处理：对解码嵌入向量矩阵进行卷积处理，得到第一解码卷积结果；对第一解码卷积结果进行归一化处理，得到解码归一化结果；将解码归一化结果与解码嵌入向量矩阵进行线性加权，得到解码加权结果；对解码加权结果进行卷积处理，得到第二解码卷积结果；对第二解码卷积结果进行激活处理，得到解码激活结果；将解码激活结果与解码嵌入向量矩阵进行合并，得到第j个解码特征图。
需要说明的是，对于全局特征提取网络，负责将上层输入的解码嵌入向量矩阵做特征变换，并进行注意力操作，获取图像的全局信息。解码嵌入向量矩阵作为输入，先进行卷积操作，降低维度，然后经过Softmax处理，Softmax处理后与解码嵌入向量矩阵进行线性加权操作（可以简单理解为相乘），加权后的结果再进行卷积，并输入激活函数进一步处理，得到的结果与解码嵌入向量矩阵进行合并（可以理解为相加），最终得到解码特征图。经过全局特征提取网络一系列的处理后，输出的解码特征图能够保留更多的全局特征信息，有助于杂质的去除。
此外，在编码器和解码器之间，会有多条短连接路径，其作用是将解码器和编解码对应层级之间的特征图进行融合，合并成一个新的特征图，这样可以同时保留多层级特征信息，如图9所示。
基于此，上述将第j个解码特征图输入至第j个上采样网络，对第j个解码特征图进行上采样处理，得到第j个尺度的目标特征图，具体可以是确定与解码器中第j个特征图生成网络同层级的编码器中的第j个特征图生成网络；将编码器中第j个特征图生成网络输出的第j个编码特征图与解码器中第j个特征图生成网络输出的第j个解码特征图进行叠加，得到叠加特征图；将叠加特征图输入至第j个上采样网络，对叠加特征图进行上采样处理，得到第j个尺度的目标特征图。
例如，如图9所示，以解码器中第2个特征图生成网络为例，确定与解码器中第2个特征图生成网络同层级的编码器中的第2个特征图生成网络；将编码器中第2个特征图生成网络输出的第2个编码特征图与解码器中第2个特征图输出的第2个解码特征图进行叠加，得到叠加特征图；将叠加特征图输入至第2个上采样网络，对叠加特征图进行上采样处理，得到中尺度的目标特征图。
S304，利用多尺度融合网络对多个不同尺度的目标特征图进行处理，得到无杂质的目标图像。
在本申请实施例中，对于杂质去除网络，其中包括多尺度融合网络，可以利用多尺度融合网络对多个不同尺度的目标特征图进行处理，得到无杂质的目标图像。其中，多尺度融合网络包括M个全卷积网络、融合网络和重建网络，并且这M个全卷积网络可以各不相同。
基于此，针对第k个尺度的目标特征图，利用对应的第k个全卷积网络，对第k个尺度的目标特征图进行全卷积处理，得到第k个卷积特征图，k依次为1，2，3，……，M；利用融合网络，对M个卷积特征图进行融合，得到融合特征图；利用重建网络对融合特征图进行重建，得到与原始图像分辨率大小一致的无杂质的目标图像。
例如，如图10所示，对于多尺度融合网络包括3个全卷积网络、融合网络和重建网络。针对高尺度的目标特征图，利用对应的第1个全卷积网络，对高尺度的目标特征图进行全卷积处理，得到第1个卷积特征图，针对中尺度的目标特征图，利用对应的第2个全卷积网络，对中尺度的目标特征图进行全卷积处理，得到第2个卷积特征图，针对低尺度的目标特征图，利用对应的第3个全卷积网络，对低尺度的目标特征图进行全卷积处理，得到第3个卷积特征图；利用融合网络，对这3个卷积特征图进行融合，得到融合特征图；利用重建网络对融合特征图进行重建，得到与原始图像分辨率大小一致的无杂质的目标图像。
需要说明的是，由于低尺度的目标特征图具有更细致的纹理特征信息，而高尺度的目标特征图具有更丰富的语义信息，为了能充分保留各个层级不同尺度的特征信息，因此在多尺度融合网络中设计了多尺度融合结构。原始特征图经解码器逐级解码后，并行产生三个层级的输出，分别是低级、中级、高级（即上述的高尺度的目标特征图、中尺度的目标特征图、低尺度的目标特征图），每个层级包含不同的尺度的特征信息，这三个层级的输出分别经过全卷积处理后，在融合网络中汇聚在一起，得到融合的特征图，此时得到的特征图分辨率较小，将其进一步输入重建网络，重建成原图分辨率大小，即得到最终的去杂质图像。
其中，对利用融合网络，对M个卷积特征图进行融合，得到融合特征图，实质就是利用融合网络，对M个卷积特征图进行叠加，得到融合特征图，本申请实施例对此不作限定。
另外，对于重建网络，其内部结构如图11所示，具体可以包括第一卷积、上采样、第二卷积等3个部分。由此可以将融合特征图输入至重建网络，对融合特征图进行以下重建处理：对融合特征图进行卷积处理，得到融合卷积结果；对融合卷积结果进行上采样处理，得到上采样处理后的融合卷积结果；对上采样处理后的融合卷积结果进行卷积处理，得到与原始图像分辨率大小一致的无杂质的目标图像。
通过上述对本申请实施例提供的技术方案的描述，设计了一种杂质去除网络，该杂质去除网络架构由三个部分组成，分别为编码器、解码器和多尺度网络，利用编码器对原始图像进行处理，得到原始图像对应的原始特征图，利用解码器对原始特征图进行处理，得到原始图像对应的多个不同尺度的目标特征图，利用多尺度融合网络对多个不同尺度的目标特征图进行处理，得到无杂质的目标图像。如此生成的无杂质的目标图像，其杂质去除的非常干净，不会存在杂质残留，并且能很好的保持原有图像彩色，还原干净、清晰的图像，杂质区域与非杂质区域不会存在色差。
需要说明的是，对于多个不同尺度的目标特征图，不局限于上述所说的高分辨率的目标特征图、中分辨率的目标特征图、低分辨率的目标特征图等3个不同分辨率的目标特征图，可以是更多数量的不同分辨率的目标特征图，并且数量足够多的不同分辨率的目标特征图，分辨率最低的目标特征图具有更细致的纹理特征信息，分辨率最高的目标特征图具有更丰富的语义信息，如此融合数量足够多的不同分辨率的目标特征图，生成无杂质的目标图像，原始图像中的杂质去除的效果越好。
与上述方法实施例相对应，本申请实施例还提供了一种图像处理装置，如图12所示，该装置可以包括：图像获取模块1210、特征图确定模块1220、特征图生成模块1230、图像生成模块1240。
图像获取模块1210，用于获取携带有杂质的原始图像；
特征图确定模块1220，用于确定所述原始图像对应的原始特征图；
特征图生成模块1230，用于根据所述原始特征图，生成所述原始图像对应的多个不同尺度的目标特征图；
图像生成模块1240，用于根据多个不同尺度的所述目标特征图，生成无杂质的目标图像。
在一个可选的实施方式中，所述特征图确定模块具体用于：
利用编码器对所述原始图像进行处理，得到所述原始图像对应的原始特征图；
所述特征图生成模块具体用于：
利用解码器对所述原始特征图进行处理，得到所述原始图像对应的多个不同尺度的目标特征图；
所述图像生成模块具体用于：
利用多尺度融合网络对所述多个不同尺度的所述目标特征图进行处理，得到无杂质的目标图像。
在一个可选的实施方式中，所述编码器包括M个特征图生成网络，所述M为正整数；
所述特征图确定模块具体包括：
迭代子模块，用于迭代执行以下操作，直至得到第M个编码特征图时停止下述操作：
特征图确定子模块，用于将第i个编码图像输入至第i个所述特征图生成网络，对所述第i个编码图像进行全局特征提取，输出第i个编码特征图，其中，所述第i个编码特征图是第i+1个编码图像，所述i依次为1，2，3，……，M；
其中，第1个编码图像为所述原始图像，第M个编码特征图是所述原始特征图。
在一个可选的实施方式中，所述特征图生成网络包括嵌入网络与全局特征提取网络；
所述特征图确定子模块具体包括：
编码图像处理单元，用于利用第i个所述特征图生成网络中的所述嵌入网络，对所述第i个编码图像进行以下处理：
对所述第i个编码图像进行切割，得到多个编码子块；
针对任一所述编码子块，将所述编码子块映射成编码嵌入向量；
对多个所述编码嵌入向量进行拼接，得到编码嵌入向量矩阵；
编码嵌入向量矩阵处理单元，用于利用第i个所述特征图生成网络中的所述全局特征提取网络，对所述编码嵌入向量矩阵进行全局特征提取处理，得到第i个编码特征图。
在一个可选的实施方式中，所述编码嵌入向量矩阵处理单元具体用于：
利用第i个所述特征图生成网络中的所述全局特征提取网络，对所述编码嵌入向量矩阵进行以下全局特征提取处理：
对所述编码嵌入向量矩阵进行卷积处理，得到第一编码卷积结果；
对所述第一编码卷积结果进行归一化处理，得到编码归一化结果；
将所述编码归一化结果与所述编码嵌入向量矩阵进行线性加权，得到编码加权结果；
对所述编码加权结果进行卷积处理，得到第二编码卷积结果；
对所述第二编码卷积结果进行激活处理，得到编码激活结果；
将所述编码激活结果与所述编码嵌入向量矩阵进行合并，得到第i个编码特征图。
在一个可选的实施方式中，所述解码器包括M-1个特征图生成网络和M个上采样网络；
所述特征图生成模块具体包括：
第M个尺度的目标特征图生成子模块，用于将所述原始特征图输入至第M个所述上采样网络，对所述原始特征图进行上采样处理，得到第M个尺度的目标特征图；
迭代子模块，用于迭代执行以下操作，直至得到第1个尺度的目标特征图时停止下述操作：
解码特征图生成子模块，用于将第j+1个尺度的目标特征图输入至第j个所述特征图生成网络，对所述第j+1个尺度的目标特征图进行全局特征提取处理，输出第j个解码特征图， 其中，所述j依次为M-1，……，3，2，1；
第j个尺度的目标特征图生成子模块，用于将所述第j个解码特征图输入至第j个所述上采样网络，对所述第j个解码特征图进行上采样处理，得到第j个尺度的目标特征图。
在一个可选的实施方式中，所述特征图生成网络包括嵌入网络与全局特征提取网络；
所述解码特征图生成子模块具体包括：
目标特征图处理单元，用于利用第j个所述特征图生成网络中的所述嵌入网络，对所述第j+1个尺度的目标特征图进行以下处理：
对所述第j+1个尺度的目标特征图进行切割，得到多个解码子块；
针对任一所述解码子块，将所述解码子块映射成解码嵌入向量；
对多个所述解码嵌入向量进行拼接，得到解码嵌入向量矩阵；
解码嵌入向量矩阵处理单元，用于利用第j个所述特征图生成网络中的所述全局特征提取网络，对所述解码嵌入向量矩阵进行全局特征提取处理，得到第j个解码特征图。
在一个可选的实施方式中，所述解码嵌入向量矩阵处理单元具体用于：
利用第j个所述特征图生成网络中的所述全局特征提取网络，对所述解码嵌入向量矩阵进行以下全局特征提取处理：
对所述解码嵌入向量矩阵进行卷积处理，得到第一解码卷积结果；
对所述第一解码卷积结果进行归一化处理，得到解码归一化结果；
将所述解码归一化结果与所述解码嵌入向量矩阵进行线性加权，得到解码加权结果；
对所述解码加权结果进行卷积处理，得到第二解码卷积结果；
对所述第二解码卷积结果进行激活处理，得到解码激活结果；
将所述解码激活结果与所述解码嵌入向量矩阵进行合并，得到第j个解码特征图。
在一个可选的实施方式中，所述第j个尺度的目标特征图生成子模块具体用于：
确定与解码器中第j个所述特征图生成网络同层级的编码器中的第j个所述特征图生成网络；
将编码器中第j个所述特征图生成网络输出的第j个编码特征图与所述第j个解码特征图进行叠加，得到叠加特征图；
将所述叠加特征图输入至第j个所述上采样网络，对所述叠加特征图进行上采样处理，得到第j个尺度的目标特征图。
在一个可选的实施方式中，所述多尺度融合网络包括M个全卷积网络、融合网络和重建网络；
所述图像生成模块具体包括：
目标特征图处理子模块，用于针对第k个尺度的所述目标特征图，利用对应的第k个所述全卷积网络，对第k个尺度的所述目标特征图进行全卷积处理，得到第k个卷积特征图，所述k依次为1，2，3，……，M；
特征图融合模块，用于利用所述融合网络，对M个所述卷积特征图进行融合，得到融合特征图；
特征图重建子模块，用于利用所述重建网络对所述融合特征图进行重建，得到与所述原始图像分辨率大小一致的无杂质的目标图像。
在一个可选的实施方式中，所述特征图融合模块具体用于：
利用所述融合网络，对M个所述卷积特征图进行叠加，得到融合特征图。
在一个可选的实施方式中，所述特征图重建子模块具体用于：
将所述融合特征图输入至所述重建网络，对所述融合特征图进行以下重建处理：
对所述融合特征图进行卷积处理，得到融合卷积结果；
对所述融合卷积结果进行上采样处理，得到上采样处理后的所述融合卷积结果；
对上采样处理后的所述融合卷积结果进行卷积处理，得到与所述原始图像分辨率大小一致的无杂质的目标图像。
本申请实施例还提供了一种电子设备，如图13所示，包括处理器131、通信接口132、存储器133和通信总线134，其中，处理器131，通信接口132，存储器133通过通信总线134完成相互间的通信，
存储器133，用于存放计算机程序；
处理器131，用于执行存储器133上所存放的程序时，实现如下步骤：
获取携带有杂质的原始图像，并确定所述原始图像对应的原始特征图；根据所述原始特征图，生成所述原始图像对应的多个不同尺度的目标特征图；根据多个不同尺度的所述目标特征图，生成无杂质的目标图像。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中，还提供了一种存储介质，该存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的图像处理方法。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的图像处理方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在存储介质中，或者从一个存储介质向另一个存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线（DSL））或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质（例如固态硬盘Solid State Disk (SSD)）等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。
Claims (15)
1.一种图像处理方法，其特征在于，所述方法包括：
获取携带有杂质的原始图像，并确定所述原始图像对应的原始特征图；
其中，所述确定所述原始图像对应的原始特征图，包括：利用编码器对所述原始图像进行处理，得到所述原始图像对应的原始特征图；
根据所述原始特征图，生成所述原始图像对应的多个不同尺度的目标特征图，包括：利用解码器对所述原始特征图进行处理，得到所述原始图像对应的多个不同尺度的目标特征图；不同尺度为不同分辨率；
根据多个不同尺度的所述目标特征图，生成无杂质的目标图像。
2.根据权利要求1所述的方法，其特征在于，
所述根据多个不同尺度的所述目标特征图，生成无杂质的目标图像，包括：
利用多尺度融合网络对所述多个不同尺度的所述目标特征图进行处理，得到无杂质的目标图像。
3.根据权利要求1所述的方法，其特征在于，所述编码器包括M个特征图生成网络，所述M为正整数；
所述利用编码器对所述原始图像进行处理，得到所述原始图像对应的原始特征图，包括：
迭代执行以下操作，直至得到第M个编码特征图时停止下述操作：
将第i个编码图像输入至第i个所述特征图生成网络，对所述第i个编码图像进行全局特征提取，输出第i个编码特征图，其中，所述第i个编码特征图是第i+1个编码图像，所述i依次为1，2，3，……，M；
其中，第1个编码图像为所述原始图像，第M个编码特征图是所述原始特征图。
4.根据权利要求3所述的方法，其特征在于，所述特征图生成网络包括嵌入网络与全局特征提取网络；
所述将第i个编码图像输入至第i个所述特征图生成网络，对所述第i个编码图像进行全局特征提取，输出第i个编码特征图，包括：
利用第i个所述特征图生成网络中的所述嵌入网络，对所述第i个编码图像进行以下处理：
对所述第i个编码图像进行切割，得到多个编码子块；
针对任一所述编码子块，将所述编码子块映射成编码嵌入向量；
对多个所述编码嵌入向量进行拼接，得到编码嵌入向量矩阵；
利用第i个所述特征图生成网络中的所述全局特征提取网络，对所述编码嵌入向量矩阵进行全局特征提取处理，得到第i个编码特征图。
5.根据权利要求4所述的方法，其特征在于，所述利用第i个所述特征图生成网络中的所述全局特征提取网络，对所述编码嵌入向量矩阵进行全局特征提取处理，得到第i个编码特征图，包括：
利用第i个所述特征图生成网络中的所述全局特征提取网络，对所述编码嵌入向量矩阵进行以下全局特征提取处理：
对所述编码嵌入向量矩阵进行卷积处理，得到第一编码卷积结果；
对所述第一编码卷积结果进行归一化处理，得到编码归一化结果；
将所述编码归一化结果与所述编码嵌入向量矩阵进行线性加权，得到编码加权结果；
对所述编码加权结果进行卷积处理，得到第二编码卷积结果；
对所述第二编码卷积结果进行激活处理，得到编码激活结果；
将所述编码激活结果与所述编码嵌入向量矩阵进行合并，得到第i个编码特征图。
6.根据权利要求1所述的方法，其特征在于，所述解码器包括M-1个特征图生成网络和M个上采样网络；
所述利用解码器对所述原始特征图进行处理，得到所述原始图像对应的多个不同尺度的目标特征图，包括：
将所述原始特征图输入至第M个所述上采样网络，对所述原始特征图进行上采样处理，得到第M个尺度的目标特征图；
迭代执行以下操作，直至得到第1个尺度的目标特征图时停止下述操作：
将第j+1个尺度的目标特征图输入至第j个所述特征图生成网络，对所述第j+1个尺度的目标特征图进行全局特征提取处理，输出第j个解码特征图，其中，所述j依次为M-1，……，3，2，1；
将所述第j个解码特征图输入至第j个所述上采样网络，对所述第j个解码特征图进行上采样处理，得到第j个尺度的目标特征图。
7.根据权利要求6所述的方法，其特征在于，所述特征图生成网络包括嵌入网络与全局特征提取网络；
所述将第j+1个尺度的目标特征图输入至第j个所述特征图生成网络，对所述第j+1个尺度的目标特征图进行全局特征提取处理，输出第j个解码特征图，包括：
利用第j个所述特征图生成网络中的所述嵌入网络，对所述第j+1个尺度的目标特征图进行以下处理：
对所述第j+1个尺度的目标特征图进行切割，得到多个解码子块；
针对任一所述解码子块，将所述解码子块映射成解码嵌入向量；
对多个所述解码嵌入向量进行拼接，得到解码嵌入向量矩阵；
利用第j个所述特征图生成网络中的所述全局特征提取网络，对所述解码嵌入向量矩阵进行全局特征提取处理，得到第j个解码特征图。
8.根据权利要求7所述的方法，其特征在于，所述利用第j个所述特征图生成网络中的所述全局特征提取网络，对所述解码嵌入向量矩阵进行全局特征提取处理，得到第j个解码特征图，包括：
利用第j个所述特征图生成网络中的所述全局特征提取网络，对所述解码嵌入向量矩阵进行以下全局特征提取处理：
对所述解码嵌入向量矩阵进行卷积处理，得到第一解码卷积结果；
对所述第一解码卷积结果进行归一化处理，得到解码归一化结果；
将所述解码归一化结果与所述解码嵌入向量矩阵进行线性加权，得到解码加权结果；
对所述解码加权结果进行卷积处理，得到第二解码卷积结果；
对所述第二解码卷积结果进行激活处理，得到解码激活结果；
将所述解码激活结果与所述解码嵌入向量矩阵进行合并，得到第j个解码特征图。
9.根据权利要求6所述的方法，其特征在于，所述将所述第j个解码特征图输入至第j个所述上采样网络，对所述第j个解码特征图进行上采样处理，得到第j个尺度的目标特征图，包括：
确定与解码器中第j个所述特征图生成网络同层级的编码器中的第j个所述特征图生成网络；
将编码器中第j个所述特征图生成网络输出的第j个编码特征图与所述第j个解码特征图进行叠加，得到叠加特征图；
将所述叠加特征图输入至第j个所述上采样网络，对所述叠加特征图进行上采样处理，得到第j个尺度的目标特征图。
10.根据权利要求2所述的方法，其特征在于，所述多尺度融合网络包括M个全卷积网络、融合网络和重建网络；
所述利用多尺度融合网络对所述多个不同尺度的所述目标特征图进行处理，得到无杂质的目标图像，包括：
针对第k个尺度的所述目标特征图，利用对应的第k个所述全卷积网络，对第k个尺度的所述目标特征图进行全卷积处理，得到第k个卷积特征图，所述k依次为1，2，3，……，M；
利用所述融合网络，对M个所述卷积特征图进行融合，得到融合特征图；
利用所述重建网络对所述融合特征图进行重建，得到与所述原始图像分辨率大小一致的无杂质的目标图像。
11.根据权利要求10所述的方法，其特征在于，所述利用所述融合网络，对M个所述卷积特征图进行融合，得到融合特征图，包括：
利用所述融合网络，对M个所述卷积特征图进行叠加，得到融合特征图。
12.根据权利要求10所述的方法，其特征在于，所述利用所述重建网络对所述融合特征图进行重建，得到与所述原始图像分辨率大小一致的无杂质的目标图像，包括：
将所述融合特征图输入至所述重建网络，对所述融合特征图进行以下重建处理：
对所述融合特征图进行卷积处理，得到融合卷积结果；
对所述融合卷积结果进行上采样处理，得到上采样处理后的所述融合卷积结果；
对上采样处理后的所述融合卷积结果进行卷积处理，得到与所述原始图像分辨率大小一致的无杂质的目标图像。
13.一种图像处理装置，其特征在于，所述装置包括：
图像获取模块，用于获取携带有杂质的原始图像；
特征图确定模块，用于确定所述原始图像对应的原始特征图；
其中，所述特征图确定模块具体用于：利用编码器对所述原始图像进行处理，得到所述原始图像对应的原始特征图；
特征图生成模块，用于根据所述原始特征图，生成所述原始图像对应的多个不同尺度的目标特征图，不同尺度为不同分辨率；所述特征图生成模块具体用于：利用解码器对所述原始特征图进行处理，得到所述原始图像对应的多个不同尺度的目标特征图；
图像生成模块，用于根据多个不同尺度的所述目标特征图，生成无杂质的目标图像。
14.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-12中任一所述的方法。
15.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-12中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410180642.8A CN117745595A (zh) | 2024-02-18 | 2024-02-18 | 图像处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410180642.8A CN117745595A (zh) | 2024-02-18 | 2024-02-18 | 图像处理方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117745595A true CN117745595A (zh) | 2024-03-22 |
Family
ID=90278029
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410180642.8A Pending CN117745595A (zh) | 2024-02-18 | 2024-02-18 | 图像处理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117745595A (zh) |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111798400A (zh) * | 2020-07-20 | 2020-10-20 | 福州大学 | 基于生成对抗网络的无参考低光照图像增强方法及系统 |
| CN112053308A (zh) * | 2020-10-22 | 2020-12-08 | 润联软件系统(深圳)有限公司 | 一种图像去模糊方法、装置、计算机设备及存储介质 |
| US20210125313A1 (en) * | 2019-10-25 | 2021-04-29 | Samsung Electronics Co., Ltd. | Image processing method, apparatus, electronic device and computer readable storage medium |
| CN113450273A (zh) * | 2021-06-18 | 2021-09-28 | 暨南大学 | 一种基于多尺度多阶段神经网络的图像去雾方法及系统 |
| CN113689435A (zh) * | 2021-09-28 | 2021-11-23 | 平安科技（深圳）有限公司 | 图像分割方法、装置、电子设备及存储介质 |
| CN114022394A (zh) * | 2022-01-04 | 2022-02-08 | 苏州浪潮智能科技有限公司 | 一种图像复原方法、装置、电子设备及存储介质 |
| CN114120053A (zh) * | 2020-08-10 | 2022-03-01 | 北京金山云网络技术有限公司 | 图像处理方法、网络模型的训练方法、装置和电子设备 |
| CN114820635A (zh) * | 2022-04-21 | 2022-07-29 | 重庆理工大学 | 联合注意力u形网络和多尺度特征融合的息肉分割方法 |
| CN114881871A (zh) * | 2022-04-12 | 2022-08-09 | 华南农业大学 | 一种融合注意力单幅图像去雨方法 |
| CN115829868A (zh) * | 2022-11-28 | 2023-03-21 | 三亚学院 | 基于光照与噪声残差图的水下暗光图像增强方法 |
| CN116580241A (zh) * | 2023-05-22 | 2023-08-11 | 内蒙古农业大学 | 基于双分支多尺度语义分割网络的图像处理方法及系统 |
| WO2023169582A1 (zh) * | 2022-03-11 | 2023-09-14 | 北京字跳网络技术有限公司 | 图像增强方法、装置、设备及介质 |
| CN117036190A (zh) * | 2023-07-28 | 2023-11-10 | 深圳云天励飞技术股份有限公司 | 图像去噪方法、装置及电子设备 |
| CN117315258A (zh) * | 2023-10-27 | 2023-12-29 | 重庆师范大学 | 基于图卷积网络和部分卷积的轻量级视网膜血管分割方法 |
| CN117392489A (zh) * | 2022-06-29 | 2024-01-12 | 北京字跳网络技术有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN117523219A (zh) * | 2022-07-28 | 2024-02-06 | 北京金山办公软件股份有限公司 | 图像处理方法及装置、电子设备、存储介质 |
-
2024
- 2024-02-18 CN CN202410180642.8A patent/CN117745595A/zh active Pending
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210125313A1 (en) * | 2019-10-25 | 2021-04-29 | Samsung Electronics Co., Ltd. | Image processing method, apparatus, electronic device and computer readable storage medium |
| CN111798400A (zh) * | 2020-07-20 | 2020-10-20 | 福州大学 | 基于生成对抗网络的无参考低光照图像增强方法及系统 |
| CN114120053A (zh) * | 2020-08-10 | 2022-03-01 | 北京金山云网络技术有限公司 | 图像处理方法、网络模型的训练方法、装置和电子设备 |
| CN112053308A (zh) * | 2020-10-22 | 2020-12-08 | 润联软件系统(深圳)有限公司 | 一种图像去模糊方法、装置、计算机设备及存储介质 |
| CN113450273A (zh) * | 2021-06-18 | 2021-09-28 | 暨南大学 | 一种基于多尺度多阶段神经网络的图像去雾方法及系统 |
| CN113689435A (zh) * | 2021-09-28 | 2021-11-23 | 平安科技（深圳）有限公司 | 图像分割方法、装置、电子设备及存储介质 |
| CN114022394A (zh) * | 2022-01-04 | 2022-02-08 | 苏州浪潮智能科技有限公司 | 一种图像复原方法、装置、电子设备及存储介质 |
| CN116797890A (zh) * | 2022-03-11 | 2023-09-22 | 北京字跳网络技术有限公司 | 图像增强方法、装置、设备及介质 |
| WO2023169582A1 (zh) * | 2022-03-11 | 2023-09-14 | 北京字跳网络技术有限公司 | 图像增强方法、装置、设备及介质 |
| CN114881871A (zh) * | 2022-04-12 | 2022-08-09 | 华南农业大学 | 一种融合注意力单幅图像去雨方法 |
| CN114820635A (zh) * | 2022-04-21 | 2022-07-29 | 重庆理工大学 | 联合注意力u形网络和多尺度特征融合的息肉分割方法 |
| CN117392489A (zh) * | 2022-06-29 | 2024-01-12 | 北京字跳网络技术有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN117523219A (zh) * | 2022-07-28 | 2024-02-06 | 北京金山办公软件股份有限公司 | 图像处理方法及装置、电子设备、存储介质 |
| CN115829868A (zh) * | 2022-11-28 | 2023-03-21 | 三亚学院 | 基于光照与噪声残差图的水下暗光图像增强方法 |
| CN116580241A (zh) * | 2023-05-22 | 2023-08-11 | 内蒙古农业大学 | 基于双分支多尺度语义分割网络的图像处理方法及系统 |
| CN117036190A (zh) * | 2023-07-28 | 2023-11-10 | 深圳云天励飞技术股份有限公司 | 图像去噪方法、装置及电子设备 |
| CN117315258A (zh) * | 2023-10-27 | 2023-12-29 | 重庆师范大学 | 基于图卷积网络和部分卷积的轻量级视网膜血管分割方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108062754B (zh) | 基于密集网络图像的分割、识别方法和装置 | |
| Chang | Adversarial learning for invertible steganography | |
| CN112862681B (zh) | 一种超分辨率方法、装置、终端设备及存储介质 | |
| CN111080528A (zh) | 图像超分辨率和模型训练方法、装置、电子设备及介质 | |
| Couturier et al. | Image denoising using a deep encoder-decoder network with skip connections | |
| CN111914654A (zh) | 一种文本版面分析方法、装置、设备和介质 | |
| CN112580381A (zh) | 一种基于深度学习的二维码超辨率重构增强方法及系统 | |
| CN113538246A (zh) | 基于无监督多阶段融合网络的遥感图像超分辨率重建方法 | |
| CN116645598A (zh) | 一种基于通道注意力特征融合的遥感图像语义分割方法 | |
| CN111161386A (zh) | 超声图像的渲染方法、装置及超声设备 | |
| CN112053287B (zh) | 图像超分辨率方法、装置及设备 | |
| CN117745595A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN116071279A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN115423697A (zh) | 图像修复方法、终端及计算机存储介质 | |
| Wahed et al. | A simplified parabolic interpolation based reversible data hiding scheme | |
| CN115170812A (zh) | 图像去噪模型训练、降噪方法及其设备、存储介质 | |
| CN114219738A (zh) | 单幅图像多尺度超分辨重建网络结构及方法 | |
| CN113643173A (zh) | 水印去除方法、装置、终端设备及可读存储介质 | |
| Jia et al. | Learning Rich Information for Quad Bayer Remosaicing and Denoising | |
| CN113689341A (zh) | 图像处理方法及图像处理模型的训练方法 | |
| CN116452600B (zh) | 实例分割方法、系统、模型训练方法、介质及电子设备 | |
| Luo et al. | Super-resolving compressed images via parallel and series integration of artifact reduction and resolution enhancement | |
| Tian et al. | Deep iterative residual back-projection networks for single-image super-resolution | |
| KR102590926B1 (ko) | 왜곡 이미지의 이미지 복원 방법 및 장치 | |
| CN113284074A (zh) | 全景图像的目标对象去除方法、装置、服务器及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |