CN115797643A - 一种图像去噪方法、装置、系统、边缘设备及存储介质 - Google Patents
一种图像去噪方法、装置、系统、边缘设备及存储介质 Download PDFInfo
- Publication number
- CN115797643A CN115797643A CN202111049371.5A CN202111049371A CN115797643A CN 115797643 A CN115797643 A CN 115797643A CN 202111049371 A CN202111049371 A CN 202111049371A CN 115797643 A CN115797643 A CN 115797643A
- Authority
- CN
- China
- Prior art keywords
- image
- feature matrix
- sample
- attention mechanism
- denoised
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
本申请实施例提供了一种图像去噪方法、装置、系统、边缘设备及存储介质,该方法包括:获取待去噪图像;利用预设多头注意力机制模块,提取待去噪图像的第一特征矩阵,其中,预设多头注意力机制模块包括自注意力机制和通道注意力机制;对第一特征矩阵进行上采样,得到第二特征矩阵;基于第二特征矩阵,生成待去噪图像对应的去噪图像。应用本申请实施例提供的技术方案,能够提高图像去噪效率,降低计算资源的耗费,进而降低对设备的性能要求。
Description
技术领域
本申请涉及图像处理技术领域,特别是涉及一种图像去噪方法、装置、系统、边缘设备及存储介质。
背景技术
随着手机和相机等图像采集设备的快速发展,图像采集设备给人们的生活带来了极大的方便。在图像采集设备获取图像的过程中,会不可避免的在图像中引入噪声,从而影响最终得到的图像的品质。
目前,图像去噪方法是基于卷积神经网络实现的。然而,卷积神经网络的计算资源的耗费较大,对设备的性能要求较高;利用卷积神经网络进行图像去噪的方法的去噪效率较差。
发明内容
本申请实施例的目的在于提供一种图像去噪方法、装置、系统、边缘设备及存储介质,以提高图像去噪效率,降低计算资源的耗费,进而降低对设备的性能要求。具体技术方案如下:
第一方面,本申请实施例提供了一种图像去噪方法,所述方法包括:
获取待去噪图像;
利用预设多头注意力机制模块,提取所述待去噪图像的第一特征矩阵,其中,所述预设多头注意力机制模块包括自注意力机制和通道注意力机制;
对所述第一特征矩阵进行上采样,得到第二特征矩阵;
基于所述第二特征矩阵,生成所述待去噪图像对应的去噪图像。
可选的,所述利用预设多头注意力机制模块,提取所述待去噪图像的第一特征矩阵的步骤,包括:
对所述待去噪图像的像素值进行归一化处理,得到第一归一化图像;
利用预设多头注意力机制模块,提取所述第一归一化图像的第一特征矩阵;
所述基于所述第二特征矩阵,生成所述待去噪图像对应的去噪图像的步骤,包括:
利用所述第二特征矩阵,生成第二归一化图像;
对所述第二归一化图像进行逆归一化处理,得到所述待去噪图像对应的去噪图像。
可选的,所述利用预设多头注意力机制模块,提取所述待去噪图像的第一特征矩阵的步骤,包括:
以所述待去噪图像作为第一候选特征矩阵,利用所述自注意力机制和通道注意力机制,对所述第一候选特征矩阵进行特征提取,得到第一中间特征矩阵;
若执行下采样的次数小于预设次数,则对所述第一中间特征矩阵进行下采样,得到第二中间特征矩阵,并将所述第二中间特征矩阵更新为第一候选特征矩阵,重新执行所述利用所述自注意力机制和通道注意力机制,对所述第一候选特征矩阵进行特征提取,得到第一中间特征矩阵的步骤;
若执行下采样的次数等于所述预设次数,则将所述第一中间特征矩阵作为所述待去噪图像的第一特征矩阵;
所述对所述第一特征矩阵进行上采样,得到第二特征矩阵的步骤,包括:
以所述第一特征矩阵作为第二候选特征矩阵,对所述第二候选特征矩阵进行上采样,得到第三中间特征矩阵;
对所述第三中间特征矩阵和与所述第三中间特征矩阵维度相同的第二中间特征矩阵进行加和,得到第四中间特征矩阵;
若执行上采样的次数小于所述预设次数,则将所述第四中间特征矩阵更新为第二候选特征矩阵,并重新执行所述对所述第二候选特征矩阵进行上采样,得到第三中间特征矩阵的步骤;
若执行上采样的次数等于所述预设次数,则将所述第四中间特征矩阵作为第二特征矩阵。
可选的,采用如下步骤训练得到所述预设多头注意力机制模块:
获取预设训练集,所述预设训练集包括多个样本图像对,所述样本图像对包括样本噪声图像和对应的样本去噪图像;
利用预设多头注意力机制模块,提取每个样本图像对中样本噪声图像的第一样本特征矩阵;
对每个样本噪声图像的第一样本特征矩阵进行上采样,得到每个样本噪声图像的第二样本特征矩阵;
基于每个样本噪声图像的第二样本特征矩阵,生成每个样本噪声图像对应的预测去噪图像;
若根据每个样本噪声图像对应的预测去噪图像和样本去噪图像,确定所述预设多头注意力机制模块收敛,则结束所述预设多头注意力机制模块的训练。
可选的,所述方法还包括:
若根据每个样本噪声图像对应的预测去噪图像和样本去噪图像,确定所述预设多头注意力机制模块未收敛,则调整所述预设多头注意力机制模块的参数,重新执行所述利用预设多头注意力机制模块,提取每个样本图像对中样本噪声图像的第一样本特征矩阵的步骤。
可选的,所述利用预设多头注意力机制模块,提取每个样本图像对中样本噪声图像的第一样本特征矩阵的步骤,包括:
从所述多个样本图像对中,选择预设数量个样本图像对;
利用预设多头注意力机制模块,提取所选择的每个样本图像对中样本噪声图像的第一样本特征矩阵。
可选的,所述获取预设训练集的步骤,包括:
获取原始图像对,所述原始图像对包括原始噪声图像和对应的原始去噪图像;
从所述原始噪声图像中截取多个第一图像块,并从所述原始噪声图像对应的原始去噪图像中截取多个第二图像块,所述第一图像块和所述第二图像块一一对应,且每两个第一图像块不完全重叠;
由所述多个第一图像块与所述多个第二图像块构成多个样本图像对,并将所述多个样本图像对加入预设训练集,所述第一图像块为样本噪声图像,所述第一图像块对应的第二图像块为所述第一图像块对应的样本去噪图像。
第二方面,本申请实施例提供了一种图像去噪装置,所述装置包括:
获取单元,用于获取待去噪图像;
提取单元,用于利用预设多头注意力机制模块,提取所述待去噪图像的第一特征矩阵,其中,所述预设多头注意力机制模块包括自注意力机制和通道注意力机制;
上采样单元,用于对所述第一特征矩阵进行上采样,得到第二特征矩阵;
生成单元,用于基于所述第二特征矩阵,生成所述待去噪图像对应的去噪图像。
可选的,所述提取单元,具体用于:
对所述待去噪图像的像素值进行归一化处理,得到第一归一化图像;利用预设多头注意力机制模块,提取所述第一归一化图像的第一特征矩阵;
所述生成单元,具体用于:
利用所述第二特征矩阵,生成第二归一化图像;对所述第二归一化图像进行逆归一化处理,得到所述待去噪图像对应的去噪图像。
可选的,所述提取单元,具体用于:
以所述待去噪图像作为第一候选特征矩阵,利用所述自注意力机制和通道注意力机制,对所述第一候选特征矩阵进行特征提取,得到第一中间特征矩阵;
若执行下采样的次数小于预设次数,则对所述第一中间特征矩阵进行下采样,得到第二中间特征矩阵,并将所述第二中间特征矩阵更新为第一候选特征矩阵,重新执行所述利用所述自注意力机制和通道注意力机制,对所述第一候选特征矩阵进行特征提取,得到第一中间特征矩阵的步骤;
若执行下采样的次数等于所述预设次数,则将所述第一中间特征矩阵作为所述待去噪图像的第一特征矩阵;
所述上采样单元,具体用于:
以所述第一特征矩阵作为第二候选特征矩阵,对所述第二候选特征矩阵进行上采样,得到第三中间特征矩阵;
对所述第三中间特征矩阵和与所述第三中间特征矩阵维度相同的第二中间特征矩阵进行加和,得到第四中间特征矩阵;
若执行上采样的次数小于所述预设次数,则将所述第四中间特征矩阵更新为第二候选特征矩阵,并重新执行所述对所述第二候选特征矩阵进行上采样,得到第三中间特征矩阵的步骤;
若执行上采样的次数等于所述预设次数,则将所述第四中间特征矩阵作为第二特征矩阵。
可选的,所述装置还包括:训练单元,用于采用训练得到所述预设多头注意力机制模块,具体包括:
获取子单元,用于获取预设训练集,所述预设训练集包括多个样本图像对,所述样本图像对包括样本噪声图像和对应的样本去噪图像;
提取子单元,用于利用预设多头注意力机制模块,提取每个样本图像对中样本噪声图像的第一样本特征矩阵;
上采样子单元,用于对每个样本噪声图像的第一样本特征矩阵进行上采样,得到每个样本噪声图像的第二样本特征矩阵;
生成子单元,用于基于每个样本噪声图像的第二样本特征矩阵,生成每个样本噪声图像对应的预测去噪图像;
训练子单元,用于若根据每个样本噪声图像对应的预测去噪图像和样本去噪图像,确定所述预设多头注意力机制模块收敛,则结束所述预设多头注意力机制模块的训练。
可选的,所述训练子单元,还用于:
若根据每个样本噪声图像对应的预测去噪图像和样本去噪图像,确定所述预设多头注意力机制模块未收敛,则调整所述预设多头注意力机制模块的参数,重新执行所述利用预设多头注意力机制模块,提取每个样本图像对中样本噪声图像的第一样本特征矩阵的步骤。
可选的,所述提取子单元,具体用于:
从所述多个样本图像对中,选择预设数量个样本图像对;
利用预设多头注意力机制模块,提取所选择的每个样本图像对中样本噪声图像的第一样本特征矩阵。
可选的,所述获取子单元,具体用于:
获取原始图像对,所述原始图像对包括原始噪声图像和对应的原始去噪图像;
从所述原始噪声图像中截取多个第一图像块,并从所述原始噪声图像对应的原始去噪图像中截取多个第二图像块,所述第一图像块和所述第二图像块一一对应,且每两个第一图像块不完全重叠;
由所述多个第一图像块与所述多个第二图像块构成多个样本图像对,并将所述多个样本图像对加入预设训练集,所述第一图像块为样本噪声图像,所述第一图像块对应的第二图像块为所述第一图像块对应的样本去噪图像。
第三方面,本申请实施例提供了一种边缘设备,包括处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令,所述处理器被所述机器可执行指令促使:实现上述任一所述图像去噪方法步骤。
第四方面,本申请实施例提供了一种图像去噪系统,所述系统包括服务器;
所述服务器,用于获取预设训练集,所述预设训练集包括多个样本图像对,所述样本图像对包括样本噪声图像和对应的样本去噪图像;利用预设多头注意力机制模块,提取每个样本图像对中样本噪声图像的第一样本特征矩阵;对每个样本噪声图像的第一样本特征矩阵进行上采样,得到每个样本噪声图像的第二样本特征矩阵;基于每个样本噪声图像的第二样本特征矩阵,生成每个样本噪声图像对应的预测去噪图像;若根据每个样本噪声图像对应的预测去噪图像和样本去噪图像,确定所述预设多头注意力机制模块收敛,则结束所述预设多头注意力机制模块的训练。
可选的,所述系统还包括边缘设备;
所述边缘设备,用于获取待去噪图像;利用基于服务器训练得到的预设多头注意力机制模块,提取所述待去噪图像的第一特征矩阵,其中,所述预设多头注意力机制模块包括自注意力机制和通道注意力机制;对所述第一特征矩阵进行上采样,得到第二特征矩阵;基于所述第二特征矩阵,生成所述待去噪图像对应的去噪图像。
第五方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一所述图像去噪方法步骤。
本申请实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述任一所述图像去噪方法步骤。
本申请实施例有益效果:
本申请实施例提供的技术方案中,利用预设多头注意力机制模块,对图像进行去噪处理。预设多头注意力机制模块小于卷积神经网络模型,因此,利用本申请提供的技术方案进行图像去噪,降低了计算资源的耗费,降低了对设备的性能要求。
另外,本申请实施例提供的技术方案中,预设多头注意力机制模块包括自注意力机制和通道注意力机制,其中,自注意力机制可以提取到图像中的全局语义信息,通道注意力机制提取到图像中的局部细节纹理信息。在能够获取到图像的全局语义信息和局部细节纹理信息的情况下,对预设多头注意力机制模块的训练集中图像对的数量要求降低,因此,不需要合成大量的噪声图像,来辅助预设多头注意力机制模块的训练,进而提高了图像去噪效率。
当然,实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的实施例。
图1为本申请实施例提供的图像去噪方法的第一种流程示意图;
图2为本申请实施例提供的图像去噪方法的第二种流程示意图;
图3为本申请实施例提供的图像去噪方法的第三种流程示意图;
图4为本申请实施例提供的图像去噪方法的第四种流程示意图;
图5为本申请实施例提供的预设多头注意力机制模块的训练方法的第一种流程示意图;
图6为本申请实施例提供的预设多头注意力机制模块的训练方法的第二种流程示意图;
图7为本申请实施例提供的预设多头注意力机制模块的训练方法的第三种流程示意图;
图8为本申请实施例提供的图像去噪装置的一种结构示意图;
图9为本申请实施例提供的服务器的一种结构示意图;
图10为本申请实施例提供的边缘设备的一种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员基于本申请所获得的所有其他实施例,都属于本申请保护的范围。
相关技术中,图像去噪方法是基于卷积神经网络实现的。然而,卷积神经网络的计算资源的耗费较大,对设备的性能要求较高。
另外,卷积神经网络无法获取图像中的全局语义信息。为了获得较好的去噪效果,需要合成大量的噪声图像,再结合真实的去噪声图像构成训练集,以辅助卷积神经网络的训练,以使得训练后的卷积神经网络能够准确的进行卷积神经网络。这导致上述图像去噪方法的图像去噪效率较差。
为解决上述问题,本申请实施例提供了一种图像去噪方法,该方法可以应用于服务器、个人计算机、手机、平板电脑或人工智能-图像信号处理(Artificial IntelligenceImage Signal Processor,AI-ISP)摄像机等具有图像处理功能的电子设备。
该图像去噪方法中,利用预设多头注意力机制模块,对图像进行去噪处理。预设多头注意力机制模块小于卷积神经网络模型,因此,利用本申请提供的技术方案进行图像去噪,降低了计算资源的耗费,降低了对设备的性能要求。
另外,该图像去噪方法中,预设多头注意力机制模块包括自注意力机制和通道注意力机制。其中,自注意力机制可以提取到图像中的全局语义信息,通道注意力机制提取到图像中的局部细节纹理信息。在能够获取到图像的全局语义信息和局部细节纹理信息的情况下,对预设多头注意力机制模块的训练集中图像对的数量要求降低,因此,不需要合成大量的噪声图像,来辅助预设多头注意力机制模块的训练,进而提高了图像去噪效率。
下面通过具体实施例,对本申请实施例提供的图像去噪方法进行详细说明。
参见图1,图1为本申请实施例提供的图像去噪方法的第一种流程示意图。为便于理解,下面以服务器为执行主体进行说明。该图像去噪方法包括如下步骤。
步骤S101,获取待去噪图像。
本申请实施例中,用户可以直接向服务器输入待去噪图像。进而服务器获取到待去噪图像。
本申请实施例中,服务器还可以与摄像机相连。摄像机将实时采集的图像发送给服务器。服务器接收摄像机发送的图像,并将所接收的图像作为待去噪图像。
服务器也可以与预设数据库相连。该预设数据库用于存储图像。服务器可以从预设数据库中获取图像,并将所获取的图像作为待去噪图像
本申请实施例中,服务器还可以通过其他方式获取到待去噪图像,对此不进行限定。
步骤S102,利用预设多头注意力机制模块,提取待去噪图像的第一特征矩阵,其中,预设多头注意力机制模块包括自注意力机制和通道注意力机制。
本申请实施例中,预设多头注意力机制模块包括自注意力机制和通道注意力机制。自注意力机制可以提取到图像中的全局语义信息,通道注意力机制包含卷积层,可以提取到图像中的局部细节纹理信息。
服务器在获取到待去噪图像后,可将待去噪图像输入预设多头注意力机制模块,预设多头注意力机制模块对待去噪图像进行理解和卷积处理等,得到待去噪图像的特征矩阵,即第一特征矩阵。
由于预设多头注意力机制模块包括自注意力机制和通道注意力机制,因此,该第一特征矩阵包括了待去噪图像的全局语义信息、以及待去噪图像的局部细节纹理信息。
步骤S103,对第一特征矩阵进行上采样,得到第二特征矩阵。
本申请实施例中,预设多头注意力机制模块对待去噪图像进行处理所输出的特征矩阵相当于对待去噪图像的原始特征矩阵进行了下采样,即第一特征矩阵对应的像素点数小于待去噪图像包括的像素点数。
服务器在得到第一特征矩阵后,对第一特征矩阵进行上采样,得到第二特征矩阵。此时,第二特征矩阵对应的像素点数大于等于待去噪图像包括的像素点数。这样,可以保证后续得到的与待去噪图像尺寸相同的去噪图像。
步骤S104,基于第二特征矩阵,生成待去噪图像对应的去噪图像。
本申请实施例中,在得到第二特征矩阵后,服务器可以对第二特征矩阵进行解码和渲染等处理,得到待去噪图像对应的去噪图像。
本申请实施例提供的技术方案中,利用预设多头注意力机制模块,对图像进行去噪处理。预设多头注意力机制模块小于卷积神经网络模型,因此,利用本申请提供的技术方案进行图像去噪,降低了计算资源的耗费,降低了对设备的性能要求。
另外,本申请实施例提供的技术方案中,预设多头注意力机制模块包括自注意力机制和通道注意力机制。其中,自注意力机制可以提取到图像中的全局语义信息,通道注意力机制提取到图像中的局部细节纹理信息。在能够获取到图像的全局语义信息和局部细节纹理信息的情况下,对预设多头注意力机制模块的训练集中图像对的数量要求降低,因此,不需要合成大量的噪声图像,来辅助预设多头注意力机制模块的训练,进而提高了图像去噪效率。
在本申请的一个实施例中,为了进一步提高图像去噪的效率,本申请实施例还提供了一种图像去噪方法,如图2所示,该方法可以包括如下步骤:
步骤S201,获取待去噪图像。步骤S201与步骤S101相同。
步骤S202,对待去噪图像的像素值进行归一化处理,得到第一归一化图像。
本申请实施例中,服务器在获取到待去噪图像后,对于待去噪图像中每个像素点,服务器对该像素点的像素值进行归一化处理,将该像素点的像素值归一化至0~1的范围内。在待去噪图像中所有像素点的像素值均归一化处理后,服务器得到归一化后的待去噪图像,即第一归一化图像。
例如,像素值的取值范围为0~255。对于待去噪图像中每个像素点,服务器可以按照如下公式,对该像素点的像素值进行归一化处理。
T1'=T1/255
其中,T1'为归一化后的像素点的像素值,即第一归一化图像中像素点的像素值;T1为未归一化处理的像素点的像素值,即待去噪图像中像素点的像素值;255为最大像素值。
步骤S203,利用预设多头注意力机制模块,提取第一归一化图像的第一特征矩阵,其中,预设多头注意力机制模块包括自注意力机制和通道注意力机制。
本申请实施例中,服务器在获取到第一归一化图像后,可将第一归一化图像输入预设多头注意力机制模块,预设多头注意力机制模块对第一归一化图像进行理解和卷积处理等,得到第一归一化图像的特征矩阵,即第一特征矩阵。
由于预设多头注意力机制模块包括自注意力机制和通道注意力机制,因此,该第一特征矩阵包括了第一归一化图像的全局语义信息、以及第一归一化图像的局部细节纹理信息。
步骤S202-S203为对步骤S102的细化。
步骤S204,对第一特征矩阵进行上采样,得到第二特征矩阵。步骤S204与步骤S103相同。
步骤S205,利用第二特征矩阵,生成第二归一化图像。
本申请实施例中,在得到第二特征矩阵后,服务器可以对第二特征矩阵进行解码和渲染等处理,得到待去噪图像对应的第二归一化图像。
步骤S206,对第二归一化图像进行逆归一化处理,得到待去噪图像对应的去噪图像。
本申请实施例中,服务器在获取到第二归一化图像后,对第二归一化图像进行逆归一化处理,获得去归一化的图像,即待去噪图像对应的去噪图像。
例如,像素值的取值范围为0~255。对于第二归一化图像中每个像素点,服务器可以按照如下公式,对该像素点的像素值进行逆归一化处理。
T2'=T2*255
其中,T2'为去归一化的像素点的像素值,即去噪图像中像素点的像素值;T2为第二归一化图像中像素点的像素值;255为最大像素值。
本申请实施例中,第二归一化图像为:基于第一归一化图像获得的第二特征矩阵所确定的图像。因此,第二归一化图像中每个像素点的像素值的取值范围与第一归一化图像中每个像素点的素值的取值范围相同,即第二归一化图像中每个像素点的像素值的取值范围为0~1。而正常的去噪图像中每个像素点的像素值的取值范围应该为0~255。因此,服务器对第二归一化图像进行逆归一化处理,可以得到像素值在0~255取值范围内的去噪图像。该去噪图像即为用户需求的去噪图像。
步骤S205-S206为对步骤S104的细化。
本申请实施例提供的技术方案中,对预设多头注意力机制模所处理图像的像素值进行了归一化处理,这大大缩小预设多头注意力机制模所处理图像的像素值的取值范围,进而提高了预设多头注意力机制模的图像处理效率,进一步提高了图像去噪的效率。
在本申请的一个实施例中,为了提高图像去噪的准确性,本申请实施例还提供了一种图像去噪方法,如图3所示,该方法可以包括如下步骤:
步骤S301,获取待去噪图像。步骤S301与步骤S101相同。
步骤S302,以待去噪图像作为第一候选特征矩阵。
步骤S303,利用自注意力机制和通道注意力机制,对第一候选特征矩阵进行特征提取,得到第一中间特征矩阵。
预设多头注意力机制模块包括自注意力机制和通道注意力机制。在获取到待去噪图像后,服务器以待去噪图像作为第一候选特征矩阵。服务器利用自注意力机制和通道注意力机制,对第一候选特征矩阵进行理解,得到特征矩阵,即第一中间特征矩阵。该第一中间特征矩阵包括第一候选特征矩阵的全局语义信息和局部细节纹理信息。
步骤S304,检测执行下采样的次数是否小于预设次数。若是,则执行步骤S305;若否,即执行下采样的次数等于预设次数,则执行步骤S306。
步骤S305,对第一中间特征矩阵进行下采样,得到第二中间特征矩阵,并将第二中间特征矩阵更新为第一候选特征矩阵,重新执行步骤S303。
步骤S306,将第一中间特征矩阵作为待去噪图像的第一特征矩阵。
本申请实施例中,预设次数可以根据实际需求进行设定。例如,预设次数可以为2或3等。以预设次数为2为例进行说明。
在获得第一中间特征矩阵后,由于执行下采样的次数为0,0<2,因此,服务器对第一中间特征矩阵进行下采样,得到第二中间特征矩阵。服务器将第二中间特征矩阵更新为第一候选特征矩阵。
之后,服务器重新利用自注意力机制和通道注意力机制,对第一候选特征矩阵进行特征提取,得到第一中间特征矩阵。此时,执行下采样的次数为1,1<2,因此,服务器对第一中间特征矩阵进行下采样,得到第二中间特征矩阵。
之后,服务器重新利用自注意力机制和通道注意力机制,对第一候选特征矩阵进行特征提取,得到第一中间特征矩阵。此时,执行下采样的次数为2,2=2,因此,服务器将第一中间特征矩阵作为待去噪图像的第一特征矩阵。
步骤S302-S306为对步骤S102的细化。
步骤S307,以第一特征矩阵作为第二候选特征矩阵。
步骤S308,对第二候选特征矩阵进行上采样,得到第三中间特征矩阵。
本申请实施例中,上采样和下采样的步长相同。
步骤S309,对第三中间特征矩阵和与第三中间特征矩阵维度相同的第二中间特征矩阵进行加和,得到第四中间特征矩阵。
本申请实施例中,步骤S309可以理解为,服务器基于跳步连接策略,对第一特征矩阵进行上采样,得到第四中间特征矩阵。跳步连接策略为将维度相同的特征矩阵进行加和。
步骤S310,检测执行上采样的次数是否小于预设次数。若是,则执行步骤S311;若否,即执行上采样的次数等于预设次数,则执行步骤S312。
步骤S311,将第四中间特征矩阵更新为第二候选特征矩阵,并重新执行步骤S308。
步骤S312,将第四中间特征矩阵作为第二特征矩阵。
以预设次数为2为例进行说明。在获得第二候选特征矩阵后,服务器对第二候选特征矩阵进行上采样,得到第三中间特征矩阵,第三中间特征矩阵和与第三中间特征矩阵维度相同的第二中间特征矩阵进行加和,得到第四中间特征矩阵。此时,执行上采样的次数为1,1<2,因此,服务器将第四中间特征矩阵更新为第二候选特征矩阵。
之后,服务器对第二候选特征矩阵进行上采样,得到第三中间特征矩阵,第三中间特征矩阵和与第三中间特征矩阵维度相同的第二中间特征矩阵进行加和,得到第四中间特征矩阵。此时,执行上采样的次数为2,2=2,因此,服务器将第四中间特征矩阵作为第二特征矩阵。
例如,待去噪图像x为256*256的图像。预设次数为2,上采样的步长和下采样的步长均为2。
服务器利用自注意力机制和通道注意力机制,对待去噪图像x进行理解,得到256*256的特征矩阵1。服务器对特征矩阵1进行下采样,得到128*128的特征矩阵2。服务器利用自注意力机制和通道注意力机制,对特征矩阵2进行理解,得到128*128的特征矩阵3。服务器对特征矩阵3进行下采样,得到64*64的特征矩阵4。服务器利用自注意力机制和通道注意力机制,对特征矩阵4进行理解,得到64*64的特征矩阵5(即第一特征矩阵)。
服务器基于跳步连接策略、特征矩阵1、以及特征矩阵3,对特征矩阵5进行上采样,得到特征矩阵6(即第二特征矩阵)。具体为:服务器对特征矩阵5进行上采样,得到128*128的特征矩阵51;将128*128的特征矩阵51与128*128的特征矩阵3进行加和,得到128*128的特征矩阵52;对128*128的特征矩阵52进行上采样,得到256*256的特征矩阵53;将256*256的特征矩阵53与256*256的特征矩阵1进行加和,得到特征矩阵54(即第二特征矩阵)。
步骤S307-S312为对步骤S103的细化。
步骤S313,基于第二特征矩阵,生成待去噪图像对应的去噪图像。步骤S313与步骤S104相同。
本申请实施例提供的技术方案中,服务器利用预设多头注意力机制模块对待去噪图像进行理解,并进行多次下采样处理,得到第一特征矩阵;之后,并利用跳步连接策略,对第一特征矩阵进行上采样,得到第二特征矩阵。这样,利用第二特征矩阵生成的去噪图像,可以有效避免因服务器对待去噪图像进行下采样处理时,导致待去噪图像的全局语义信息和/或局部细节纹理信息的丢失的问题,进而提高了图像去噪的准确性,获得准确的去噪图像。
本申请实施例中,为了获取到更好的图像去噪效果,上述图2和图3的实施例可以相结合,对此不进行限定。如图4所示的图像去噪方法的流程示意图。该方法中,服务器获取待去噪图像;对待去噪图像的像素值进行归一化处理,得到第一归一化图像;利用预设多头注意力机制模块,对第一归一化图像进行特征提取和下采样处理,并结合跳步连接策略进行上采样处理,得到去噪后的图像,即第二归一化图像;对第二归一化图像进行逆归一化处理,得到待去噪图像对应的去噪图像。
如图4部分的描述相对简单,具体可参见上述图1-3部分的描述。
基于上述图像去噪方法,本申请实施例提供了一种预设多头注意力机制模块的训练方法,如图5所示,该方法可以包括如下步骤。
步骤S501,获取预设训练集,预设训练集包括多个样本图像对,样本图像对包括样本噪声图像和对应的样本去噪图像。
本申请实施例中,样本噪声图像为包含噪声的图像,样本去噪图像为不包含噪声的图像。预设训练集包括样本图像对的数量可以根据实际需求进行设定。例如,若对预设多头注意力机制模块的准确度要求较高,则样本图像对的数量可以设置为较大的值;若服务器的性能较差,则样本图像对的数量可以设置为较小的值。
本申请实施例中,预设训练集可以为智能手机相机降噪研究的数据集(Smartphone Image Denoising Dataset,SIDD)。预设训练集也可以为对SIDD进行处理后得到的数据集,对此不进行限定。
步骤S502,利用预设多头注意力机制模块,提取每个样本图像对中样本噪声图像的第一样本特征矩阵。
本申请实施例中,在获取到预设训练集后,对于预设训练集中的每个样本图像对,服务器可以利用预设多头注意力机制模块,提取该样本图像对中样本噪声图像的第一样本特征矩阵。对第一样本特征矩阵的提取,可以参见上述步骤S102部分的描述,此处不再赘述。
在本申请的一个实施例中,服务器可以将预设训练集中所有样本噪声图像一次性输入预设多头注意力机制模块,进而依据预设训练集中所有样样本噪声图像执行步骤S503-S505,以依据预设训练集中所有样样本噪声图像共同对预设多头注意力机制模块进行训练。
在本申请的一个实施例中,服务器从预设训练集中包括的多个样本图像对中,选择预设数量个样本图像对;利用预设多头注意力机制模块,提取所选择的每个样本图像对中样本噪声图像的第一样本特征矩阵。预设数量可以根据预设多头注意力机制模块支持的最大通道数量进行设定。
例如,预设多头注意力机制模块支持的最大通道数量为48,结合每个图像占用3个通道,则预设数量可以设置为48/3=16。再例如,预设多头注意力机制模块支持的最大通道数量为60,结合每个图像占用3个通道,则预设数量可以设置为60/3=20。
本申请实施例中,服务器将多个样本图像进行分批处理,进而按照批次,对预设多头注意力机制模块进行训练,如上述每次选择16个样本噪声图像,利用这16个样本噪声图像对预设多头注意力机制模块进行训练。这有效降低了每次训练预设多头注意力机制模块需要学的样本噪声图像的数量,有效提高了预设多头注意力机制模块的训练效率。
步骤S503,对每个样本噪声图像的第一样本特征矩阵进行上采样,得到每个样本噪声图像的第二样本特征矩阵。
本申请实施例中,对于每个样本噪声图像,服务器对该样本噪声图像的第一样本特征矩阵进行上采样,得到该样本噪声图像的第二样本特征矩阵。对第一样本特征矩阵进行上采样的处理,可以参见上述步骤S103部分的描述,此处不再赘述。
步骤S504,基于每个样本噪声图像的第二样本特征矩阵,生成每个样本噪声图像对应的预测去噪图像。
本申请实施例中,对于每个样本噪声图像,服务器对该样本噪声图像的第二样本特征矩阵进行解码和渲染等处理,得到该样本噪声图像对应的预测去噪图像。预测去噪图像的生成可参见上述步骤S104部分的描述,此处不再赘述。
步骤S505,若根据每个样本噪声图像对应的预测去噪图像和样本去噪图像,确定预设多头注意力机制模块收敛,则结束预设多头注意力机制模块的训练。
本申请实施例中,对于每个样本噪声图像,服务器对比该样本噪声图像对应的预测去噪图像和样本去噪图像,得到该样本噪声图像对应的对比结果。服务器基于多个样本噪声图像对应的对比结果,确定预设多头注意力机制模块是否收敛。若确定预设多头注意力机制模块收敛,则服务器结束预设多头注意力机制模块的训练。
在本申请的一个实施例中,对于每个样本噪声图像,服务器确定该样本噪声图像对应的预测去噪图像和样本去噪图像的相似度,该样本噪声图像对应的相似度即为该样本噪声图像对应的对比结果。若多个样本噪声图像对应的相似度的总和小于第一预设阈值,则确定预设多头注意力机制模块收敛;否则,确定预设多头注意力机制模块未收敛。
在本申请的另一个实施例中,对于每个样本噪声图像,服务器确定该样本噪声图像对应的预测去噪图像和样本去噪图像的相似度,该样本噪声图像对应的相似度即为该样本噪声图像对应的对比结果。若多个样本噪声图像对应的相似度的均值小于第二预设阈值,则确定预设多头注意力机制模块收敛;否则,确定预设多头注意力机制模块未收敛。
本申请实施例中,服务器还可以采用其他确定预设多头注意力机制模块是否收敛,对此不进行限定。
基于上述图像去噪方法,本申请实施例还提供了一种预设多头注意力机制模块的训练方法,如图6所示,该方法可以包括如下步骤。
步骤S601,获取预设训练集,预设训练集包括多个样本图像对,样本图像对包括样本噪声图像和对应的样本去噪图像。
步骤S602,利用预设多头注意力机制模块,提取每个样本图像对中样本噪声图像的第一样本特征矩阵。
步骤S603,对每个样本噪声图像的第一样本特征矩阵进行上采样,得到每个样本噪声图像的第二样本特征矩阵。
步骤S604,基于每个样本噪声图像的第二样本特征矩阵,生成每个样本噪声图像对应的预测去噪图像。
步骤S605,若根据每个样本噪声图像对应的预测去噪图像和样本去噪图像,确定预设多头注意力机制模块收敛,则结束预设多头注意力机制模块的训练。
步骤S601-S605与上述步骤S501-S505相同。
步骤S606,若根据每个样本噪声图像对应的预测去噪图像和样本去噪图像,确定预设多头注意力机制模块未收敛,则调整预设多头注意力机制模块的参数,重新执行步骤S602。
本申请实施例中,若确定预设多头注意力机制模块未收敛,则服务器可以采用梯度下降算法和反向传播算法,调整预设多头注意力机制模块的参数,返回执行步骤S602,对预设多头注意力机制模块进行迭代训练。
本申请实施例提供的技术方案中,服务器通过对预设多头注意力机制模块进行迭代训练,可以使得预设多头注意力机制模块充分学习到噪声图像和去噪图像的变化规则,进而有效提高预设多头注意力机制模块进行图像去噪的准确性。
在申请的一个实施例中,为了进一步提高预设多头注意力机制模块的训练效率,以及提高预设多头注意力机制模块的图像去噪的准确性,本申请实施例还提供了一种预设多头注意力机制模块的训练方法,如图7所示,该方法可以包括如步骤:
步骤S701,获取原始图像对,原始图像对包括原始噪声图像和对应的原始去噪图像。
本申请实施例中,原始图像对可以来自于SIDD,也可以来自于其他图像数据集,对此不进行限定。
在训练预设多头注意力机制模块时,服务器获取原始图像对。其中,原始图像对的数量可以为一个或多个,对此不进行限定。为便于理解,下面以一个原始图像对为例进行说明。
步骤S702,从原始噪声图像中截取多个第一图像块,并从原始噪声图像对应的原始去噪图像中截取多个第二图像块,第一图像块和第二图像块一一对应,且每两个第一图像块不完全重叠。
在获取到原始图像对后,服务器从原始图像对包括的原始噪声图像中,截取多个第一图像块;并从该原始图像对包括的原始去噪图像中,截取多个第二图像块。第一图像块和第二图像块一一对应,即第一图像块在原始噪声图像中的位置坐标与第二图像块在原始去噪图像中的位置坐标相同,第一图像块的尺寸和第二图像块的尺寸相同。
第一图像块的尺寸和第二图像块的尺寸的大小可以根据实际需求进行设定。例如,第一图像块的尺寸和第二图像块的尺寸的大小可以256*256或128*128等。
步骤S703,由多个第一图像块与多个第二图像块构成多个样本图像对,并将多个样本图像对加入预设训练集,第一图像块为样本噪声图像,第一图像块对应的第二图像块为第一图像块对应的样本去噪图像。
步骤S701-S703为上述步骤S501的细化。
步骤S704,利用预设多头注意力机制模块,提取每个样本图像对中样本噪声图像的第一样本特征矩阵。
步骤S705,对每个样本噪声图像的第一样本特征矩阵进行上采样,得到每个样本噪声图像的第二样本特征矩阵。
步骤S706,基于每个样本噪声图像的第二样本特征矩阵,生成每个样本噪声图像对应的预测去噪图像。
步骤S707,若根据每个样本噪声图像对应的预测去噪图像和样本去噪图像,确定预设多头注意力机制模块收敛,则结束预设多头注意力机制模块的训练。
步骤S704-S707与上述步骤S502-S505相同。
本申请实施例提供的技术方案中,服务器可以从一个原始图像对中截取出多个样本图像对,这可以大大增加了预设训练集中包括的图像对的数量。在扩大了预设训练集的情况下,可以有效提高训练好的预设多头注意力机制模块进行图像去噪的准确性。
另外,本申请实施例提供的技术方案中,服务器从一个原始图像对中截取出多个样本图像对。这种情况下,预设训练集中样本图像对的尺寸大大小于原始图像对的尺寸。服务器利用尺寸较小的样本图像对,对预设多头注意力机制模块进行训练,可以有效减小预设多头注意力机制模块的计算量,进而提高了预设多头注意力机制模块的训练效率。
本申请实施例中,上述图像去噪方法和上述预设多头注意力机制模块的训练方法可以在不同的设备上实现,也可以在同一设备上实现,对此不进行限定。例如,上述图像去噪方法和上述预设多头注意力机制模块的训练方法可以均在服务器上实现,也可以均在边缘设备上实现。再例如,上述图像去噪方法在边缘设备上实现,上述预设多头注意力机制模块的训练方法在服务器上实现。
本申请实施例中,上述预设多头注意力机制模块可以集成在一个通用模块上。根据实际需求,可以将预设多头注意力机制模块安插在任一服务器或边缘设备上,实现预设多头注意力机制模块的即插即用,提高了图像去噪的灵活性。
与上述图像去噪方法对应,本申请实施例还提供了一种图像去噪装置,如图8所示,该装置包括:
获取单元801,用于获取待去噪图像;
提取单元802,用于利用预设多头注意力机制模块,提取待去噪图像的第一特征矩阵,其中,预设多头注意力机制模块包括自注意力机制和通道注意力机制;
上采样单元803,用于对第一特征矩阵进行上采样,得到第二特征矩阵;
生成单元804,用于基于第二特征矩阵,生成待去噪图像对应的去噪图像。
可选的,提取单元802,具体可以用于:
对待去噪图像的像素值进行归一化处理,得到第一归一化图像;利用预设多头注意力机制模块,提取第一归一化图像的第一特征矩阵;
生成单元804,具体可以用于利用第二特征矩阵,生成第二归一化图像;对第二归一化图像进行逆归一化处理,得到待去噪图像对应的去噪图像。
可选的,提取单元802,具体可以用于:
以待去噪图像作为第一候选特征矩阵,利用自注意力机制和通道注意力机制,对第一候选特征矩阵进行特征提取,得到第一中间特征矩阵;若执行下采样的次数小于预设次数,则对第一中间特征矩阵进行下采样,得到第二中间特征矩阵,并将第二中间特征矩阵更新为第一候选特征矩阵,重新执行利用自注意力机制和通道注意力机制,对第一候选特征矩阵进行特征提取,得到第一中间特征矩阵的步骤;若执行下采样的次数等于预设次数,则将第一中间特征矩阵作为待去噪图像的第一特征矩阵;
上采样单元803,具体可以用于:
以第一特征矩阵作为第二候选特征矩阵,对第二候选特征矩阵进行上采样,得到第三中间特征矩阵;对第三中间特征矩阵和与第三中间特征矩阵维度相同的第二中间特征矩阵进行加和,得到第四中间特征矩阵;若执行上采样的次数小于预设次数,则将第四中间特征矩阵更新为第二候选特征矩阵,并重新执行对第二候选特征矩阵进行上采样,得到第三中间特征矩阵的步骤;若执行上采样的次数等于预设次数,则将第四中间特征矩阵作为第二特征矩阵。
可选的,上述图像去噪装置还可以包括:训练单元,采用如下步骤训练得到预设多头注意力机制模块,具体可以包括:
获取子单元,用于获取预设训练集,预设训练集包括多个样本图像对,样本图像对包括样本噪声图像和对应的样本去噪图像;
提取子单元,用于利用预设多头注意力机制模块,提取每个样本图像对中样本噪声图像的第一样本特征矩阵;
上采样子单元,用于对每个样本噪声图像的第一样本特征矩阵进行上采样,得到每个样本噪声图像的第二样本特征矩阵;
生成子单元,用于基于每个样本噪声图像的第二样本特征矩阵,生成每个样本噪声图像对应的预测去噪图像;
训练子单元,用于若根据每个样本噪声图像对应的预测去噪图像和样本去噪图像,确定预设多头注意力机制模块收敛,则结束预设多头注意力机制模块的训练。
可选的,训练子单元,还可以用于:
若根据每个样本噪声图像对应的预测去噪图像和样本去噪图像,确定预设多头注意力机制模块未收敛,则调整预设多头注意力机制模块的参数,重新执行利用预设多头注意力机制模块,提取每个样本图像对中样本噪声图像的第一样本特征矩阵的步骤。
可选的,提取子单元,具体可以用于:
从多个样本图像对中,选择预设数量个样本图像对;利用预设多头注意力机制模块,提取所选择的每个样本图像对中样本噪声图像的第一样本特征矩阵。
可选的,获取子单元,具体可以用于:
获取原始图像对,原始图像对包括原始噪声图像和对应的原始去噪图像;从原始噪声图像中截取多个第一图像块,并从原始噪声图像对应的原始去噪图像中截取多个第二图像块,第一图像块和第二图像块一一对应,且每两个第一图像块不完全重叠;
由多个第一图像块与多个第二图像块构成多个样本图像对,并将多个样本图像对加入预设训练集,第一图像块为样本噪声图像,第一图像块对应的第二图像块为第一图像块对应的样本去噪图像。
本申请实施例提供的技术方案中,利用预设多头注意力机制模块,对图像进行去噪处理。预设多头注意力机制模块小于卷积神经网络模型,因此,利用本申请提供的技术方案进行图像去噪,降低了计算资源的耗费,降低了对设备的性能要求。
另外,本申请实施例提供的技术方案中,预设多头注意力机制模块包括自注意力机制和通道注意力机制,其中,自注意力机制可以提取到图像中的全局语义信息,通道注意力机制提取到图像中的局部细节纹理信息。在能够获取到图像的全局语义信息和局部细节纹理信息的情况下,对预设多头注意力机制模块的训练集中图像对的数量要求降低,因此,不需要合成大量的噪声图像,来辅助预设多头注意力机制模块的训练,进而提高了图像去噪效率。
与上述图像去噪方法对应,本申请实施例还提供了一种服务器,如图9所示,包括处理器901和机器可读存储介质902,机器可读存储介质902存储有能够被处理器901执行的机器可执行指令,处理器901被机器可执行指令促使:实现上述任一图像去噪方法步骤。
与上述图像去噪方法对应,本申请实施例还提供了一种边缘设备,如图10所示,包括处理器1001和机器可读存储介质1002,机器可读存储介质1002存储有能够被处理器1001执行的机器可执行指令,处理器1001被机器可执行指令促使:实现上述任一图像去噪方法步骤。
其中,边缘设备可以为个人计算机、手机、平板电脑、或AI-ISP摄像机等设备。
机器可读存储介质可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,机器可读存储介质还可以是至少一个位于远离前述处理器的存储装置。
处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
与上述图像去噪方法对应,本申请实施例还提供了一种图像去噪系统,该系统包括服务器;
服务器,用于获取预设训练集,预设训练集包括多个样本图像对,样本图像对包括样本噪声图像和对应的样本去噪图像;利用预设多头注意力机制模块,提取每个样本图像对中样本噪声图像的第一样本特征矩阵;对每个样本噪声图像的第一样本特征矩阵进行上采样,得到每个样本噪声图像的第二样本特征矩阵;基于每个样本噪声图像的第二样本特征矩阵,生成每个样本噪声图像对应的预测去噪图像;若根据每个样本噪声图像对应的预测去噪图像和样本去噪图像,确定预设多头注意力机制模块收敛,则结束预设多头注意力机制模块的训练。
可选,该系统还可以包括边缘设备;
边缘设备,用于获取待去噪图像;利用基于上述服务器训练得到的预设多头注意力机制模块,提取待去噪图像的第一特征矩阵,其中,预设多头注意力机制模块包括自注意力机制和通道注意力机制;对第一特征矩阵进行上采样,得到第二特征矩阵;基于第二特征矩阵,生成待去噪图像对应的去噪图像。
本申请实施例提供的技术方案中,利用预设多头注意力机制模块,对图像进行去噪处理。预设多头注意力机制模块小于卷积神经网络模型,因此,利用本申请提供的技术方案进行图像去噪,降低了计算资源的耗费,降低了对设备的性能要求。
另外,本申请实施例提供的技术方案中,预设多头注意力机制模块包括自注意力机制和通道注意力机制,其中,自注意力机制可以提取到图像中的全局语义信息,通道注意力机制提取到图像中的局部细节纹理信息。在能够获取到图像的全局语义信息和局部细节纹理信息的情况下,对预设多头注意力机制模块的训练集中图像对的数量要求降低,因此,不需要合成大量的噪声图像,来辅助预设多头注意力机制模块的训练,进而提高了图像去噪效率。
在本申请提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一图像去噪方法步骤。
在本申请提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述任一图像去噪方法步骤。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、服务器、边缘设备、系统、计算机可读存储介质和计算机程序产品实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本申请的保护范围内。
Claims (11)
1.一种图像去噪方法,其特征在于,所述方法包括:
获取待去噪图像;
利用预设多头注意力机制模块,提取所述待去噪图像的第一特征矩阵,其中,所述预设多头注意力机制模块包括自注意力机制和通道注意力机制;
对所述第一特征矩阵进行上采样,得到第二特征矩阵;
基于所述第二特征矩阵,生成所述待去噪图像对应的去噪图像。
2.根据权利要求1所述的方法,其特征在于,所述利用预设多头注意力机制模块,提取所述待去噪图像的第一特征矩阵的步骤,包括:
对所述待去噪图像的像素值进行归一化处理,得到第一归一化图像;
利用预设多头注意力机制模块,提取所述第一归一化图像的第一特征矩阵;
所述基于所述第二特征矩阵,生成所述待去噪图像对应的去噪图像的步骤,包括:
利用所述第二特征矩阵,生成第二归一化图像;
对所述第二归一化图像进行逆归一化处理,得到所述待去噪图像对应的去噪图像。
3.根据权利要求1所述的方法,其特征在于,所述利用预设多头注意力机制模块,提取所述待去噪图像的第一特征矩阵的步骤,包括:
以所述待去噪图像作为第一候选特征矩阵,利用所述自注意力机制和通道注意力机制,对所述第一候选特征矩阵进行特征提取,得到第一中间特征矩阵;
若执行下采样的次数小于预设次数,则对所述第一中间特征矩阵进行下采样,得到第二中间特征矩阵,并将所述第二中间特征矩阵更新为第一候选特征矩阵,重新执行所述利用所述自注意力机制和通道注意力机制,对所述第一候选特征矩阵进行特征提取,得到第一中间特征矩阵的步骤;
若执行下采样的次数等于所述预设次数,则将所述第一中间特征矩阵作为所述待去噪图像的第一特征矩阵;
所述对所述第一特征矩阵进行上采样,得到第二特征矩阵的步骤,包括:
以所述第一特征矩阵作为第二候选特征矩阵,对所述第二候选特征矩阵进行上采样,得到第三中间特征矩阵;
对所述第三中间特征矩阵和与所述第三中间特征矩阵维度相同的第二中间特征矩阵进行加和,得到第四中间特征矩阵;
若执行上采样的次数小于所述预设次数,则将所述第四中间特征矩阵更新为第二候选特征矩阵,并重新执行所述对所述第二候选特征矩阵进行上采样,得到第三中间特征矩阵的步骤;
若执行上采样的次数等于所述预设次数,则将所述第四中间特征矩阵作为第二特征矩阵。
4.根据权利要求1-3任一项所述的方法,其特征在于,采用如下步骤训练得到所述预设多头注意力机制模块:
获取预设训练集,所述预设训练集包括多个样本图像对,所述样本图像对包括样本噪声图像和对应的样本去噪图像;
利用预设多头注意力机制模块,提取每个样本图像对中样本噪声图像的第一样本特征矩阵;
对每个样本噪声图像的第一样本特征矩阵进行上采样,得到每个样本噪声图像的第二样本特征矩阵;
基于每个样本噪声图像的第二样本特征矩阵,生成每个样本噪声图像对应的预测去噪图像;
若根据每个样本噪声图像对应的预测去噪图像和样本去噪图像,确定所述预设多头注意力机制模块收敛,则结束所述预设多头注意力机制模块的训练。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
若根据每个样本噪声图像对应的预测去噪图像和样本去噪图像,确定所述预设多头注意力机制模块未收敛,则调整所述预设多头注意力机制模块的参数,重新执行所述利用预设多头注意力机制模块,提取每个样本图像对中样本噪声图像的第一样本特征矩阵的步骤。
6.根据权利要求4所述的方法,其特征在于,所述利用预设多头注意力机制模块,提取每个样本图像对中样本噪声图像的第一样本特征矩阵的步骤,包括:
从所述多个样本图像对中,选择预设数量个样本图像对;
利用预设多头注意力机制模块,提取所选择的每个样本图像对中样本噪声图像的第一样本特征矩阵。
7.根据权利要求4所述的方法,其特征在于,所述获取预设训练集的步骤,包括:
获取原始图像对,所述原始图像对包括原始噪声图像和对应的原始去噪图像;
从所述原始噪声图像中截取多个第一图像块,并从所述原始噪声图像对应的原始去噪图像中截取多个第二图像块,所述第一图像块和所述第二图像块一一对应,且每两个第一图像块不完全重叠;
由所述多个第一图像块与所述多个第二图像块构成多个样本图像对,并将所述多个样本图像对加入预设训练集,所述第一图像块为样本噪声图像,所述第一图像块对应的第二图像块为所述第一图像块对应的样本去噪图像。
8.一种边缘设备,其特征在于,包括处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令,所述处理器被所述机器可执行指令促使:实现权利要求1-7任一所述的方法步骤。
9.一种图像去噪系统,其特征在于,所述系统包括服务器;
所述服务器,用于获取预设训练集,所述预设训练集包括多个样本图像对,所述样本图像对包括样本噪声图像和对应的样本去噪图像;利用预设多头注意力机制模块,提取每个样本图像对中样本噪声图像的第一样本特征矩阵;对每个样本噪声图像的第一样本特征矩阵进行上采样,得到每个样本噪声图像的第二样本特征矩阵;基于每个样本噪声图像的第二样本特征矩阵,生成每个样本噪声图像对应的预测去噪图像;若根据每个样本噪声图像对应的预测去噪图像和样本去噪图像,确定所述预设多头注意力机制模块收敛,则结束所述预设多头注意力机制模块的训练。
10.根据权利要求9所述的系统,其特征在于,所述系统还包括边缘设备;
所述边缘设备,用于获取待去噪图像;利用基于权利要求9训练得到的预设多头注意力机制模块,提取所述待去噪图像的第一特征矩阵,其中,所述预设多头注意力机制模块包括自注意力机制和通道注意力机制;对所述第一特征矩阵进行上采样,得到第二特征矩阵;基于所述第二特征矩阵,生成所述待去噪图像对应的去噪图像。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-7任一所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111049371.5A CN115797643A (zh) | 2021-09-08 | 2021-09-08 | 一种图像去噪方法、装置、系统、边缘设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111049371.5A CN115797643A (zh) | 2021-09-08 | 2021-09-08 | 一种图像去噪方法、装置、系统、边缘设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115797643A true CN115797643A (zh) | 2023-03-14 |
Family
ID=85473426
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111049371.5A Pending CN115797643A (zh) | 2021-09-08 | 2021-09-08 | 一种图像去噪方法、装置、系统、边缘设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115797643A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116797493A (zh) * | 2023-08-02 | 2023-09-22 | 北京中科闻歌科技股份有限公司 | 一种图像去噪处理系统 |
-
2021
- 2021-09-08 CN CN202111049371.5A patent/CN115797643A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116797493A (zh) * | 2023-08-02 | 2023-09-22 | 北京中科闻歌科技股份有限公司 | 一种图像去噪处理系统 |
CN116797493B (zh) * | 2023-08-02 | 2024-01-26 | 北京中科闻歌科技股份有限公司 | 一种图像去噪处理系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021114832A1 (zh) | 样本图像数据增强方法、装置、电子设备及存储介质 | |
WO2020248841A1 (zh) | 图像的au检测方法、装置、电子设备及存储介质 | |
US9798612B1 (en) | Artifact correction using neural networks | |
US11354797B2 (en) | Method, device, and system for testing an image | |
WO2019238029A1 (zh) | 卷积神经网络系统和卷积神经网络量化的方法 | |
CN111144457B (zh) | 图像处理方法、装置、设备及存储介质 | |
WO2021164269A1 (zh) | 基于注意力机制的视差图获取方法和装置 | |
CN110969100B (zh) | 一种人体关键点识别方法、装置及电子设备 | |
CN111027412B (zh) | 一种人体关键点识别方法、装置及电子设备 | |
CN114511576B (zh) | 尺度自适应特征增强深度神经网络的图像分割方法与系统 | |
Tan et al. | Pixelwise Estimation of Signal‐Dependent Image Noise Using Deep Residual Learning | |
CN111353514A (zh) | 模型训练方法、图像识别方法、装置及终端设备 | |
CN115690672A (zh) | 异常图像识别方法、装置、计算机设备和存储介质 | |
CN115797643A (zh) | 一种图像去噪方法、装置、系统、边缘设备及存储介质 | |
CN116258906A (zh) | 一种对象识别方法、特征提取模型的训练方法及装置 | |
CN116258873A (zh) | 一种位置信息确定方法、对象识别模型的训练方法及装置 | |
CN112509052B (zh) | 黄斑中心凹的检测方法、装置、计算机设备和存储介质 | |
CN115147296A (zh) | 高光谱图像矫正方法、装置、计算机设备和存储介质 | |
US20210224999A1 (en) | Shift invariant loss for deep learning based image segmentation | |
CN114219977A (zh) | 一种年龄估计方法、系统、电子设备及存储介质 | |
CN113011410A (zh) | 字符识别模型的训练方法、字符识别方法及装置 | |
CN114972090B (zh) | 图像处理模型的训练方法、图像处理方法及装置 | |
CN110852202A (zh) | 一种视频分割方法及装置、计算设备、存储介质 | |
Meng et al. | Learnable Nonlocal Self-Similarity of Deep Features for Image Denoising | |
CN117392260B (zh) | 一种图像生成方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |