CN113542741B - 图像码流去噪方法及装置、计算机可读介质和电子设备 - Google Patents

Abstract

本公开提供一种图像码流去噪方法及装置、计算机可读介质和电子设备，涉及图像处理技术领域。该方法包括：获取图像码流，并对所述图像码流进行解码，得到解码图像块以及所述解码图像块对应的解码参数；根据所述解码参数对所述解码图像块进行基于码流的去噪，得到第一去噪图像块；对所述第一去噪图像块进行基于图像内容的去噪，得到第二去噪图像块；通过所述解码参数对所述第二去噪图像块进行编码，得到去噪后的图像码流。本公开能够结合图像码流携带的解码参数对图像块进行去噪，并对图像块进行图像内容的去噪，解决了解码图像噪声大小的区域不一致的问题，有效提升图像码流的去噪效果，提升转码后的图像码流的质量。

Description

图像码流去噪方法及装置、计算机可读介质和电子设备

技术领域

本公开涉及图像处理技术领域，具体涉及一种图像码流去噪方法、图像码流去噪装置、计算机可读介质和电子设备。

背景技术

伴随着人们生活水平的不断提高，视频或者图像的清晰度越来越得到人们的关注。在日常生活中，由于拍摄条件的限制以及发送设备、传输设备、接收设备等各种因素的影响，视频或者图像的清晰度经常受到噪声干扰，使视频或者图像的质量下降，从而影响视频或者图像的视觉效果。因此，对视频或者图像去噪对于提升视频或者图像的质量是非常关键且有必要的。视频转码技术(transcoding)是指将视频信号从一种格式转换成另一种格式，能够实现不同的设备之间的视频传递。

目前，相关的视频流或者图像流的转码方案中，通常会对解码后的视频图像进行图像增强和图像去噪等，对于图像去噪，一般是直接参考视频图像中所包含的图像内容进行去噪处理，这种图像去噪不能有效过滤图像帧与图像帧之间由于运动变化而产生的噪声，视频流或者图像流的去噪效果较差。

发明内容

本公开的目的在于提供一种图像码流去噪方法、图像码流去噪装置、计算机可读介质和电子设备，进而至少在一定程度上克服相关转码技术中视频流或者图像流的去噪效果较差的问题。

根据本公开的第一方面，提供一种图像码流去噪方法，包括：

获取图像码流，并对所述图像码流进行解码，得到解码图像块以及所述解码图像块对应的解码参数；

根据所述解码参数对所述解码图像块进行基于码流的去噪，得到第一去噪图像块；

对所述第一去噪图像块进行基于图像内容的去噪，得到第二去噪图像块；

通过所述解码参数对所述第二去噪图像块进行编码，得到去噪后的图像码流

根据本公开的第二方面，提供一种图像码流去噪装置，包括：

图像码流解码模块，用于获取图像码流，并对所述图像码流进行解码，得到解码图像块以及所述解码图像块对应的解码参数；

码流去噪模块，用于根据所述解码参数对所述解码图像块进行基于码流的去噪，得到第一去噪图像块；

图像内容去噪模块，用于对所述第一去噪图像块进行基于图像内容的去噪，得到第二去噪图像块；

图像码流编码模块，用于通过所述解码参数对所述第二去噪图像块进行编码，得到去噪后的图像码流。

根据本公开的第三方面，提供一种计算机可读介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法。

根据本公开的第四方面，提供一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述的方法。

本公开的一种实施例所提供的图像码流去噪方法，对图像码流进行解码，得到解码图像块以及解码参数，然后可以根据解码参数对解码图像块进行基于码流的去噪，得到第一去噪图像块，继续对第一去噪图像块进行基于图像内容的去噪，得到第二去噪图像块；最后可以通过解码参数对第二去噪图像块进行编码，得到去噪后的图像码流。一方面，根据图像码流携带的解码参数对解码图像块进行基于码流的去噪以及基于图像内容的去噪，实现多维度的去噪处理，有效降低解码图像块的噪声，优化图像码流的去噪效果；另一方面，采用和解码时相同的编码策略，提升图像码流的转码效果，并结合优化的去噪效果，有效提升去噪后的图像码流的质量。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了可以应用本公开实施例的一种示例性系统架构的示意图；

图2示出了可以应用本公开实施例的一种电子设备的示意图；

图3示意性示出本公开示例性实施例中一种图像码流去噪方法的流程图；

图4示意性示出本公开示例性实施例中一种对帧内编码模式的解码图像块进行去噪的流程图；

图5示意性示出本公开示例性实施例中一种对帧间编码模式的解码图像块进行去噪的流程图；

图6示意性示出本公开示例性实施例中一种对解码图像块进行时空域联合去噪的流程图；

图7示意性示出本公开示例性实施例中一种对第一去噪图像块进行划区域去噪的流程图；

图8示意性示出本公开示例性实施例中一种基于纹理复杂度对第一去噪图像块进行划区域去噪的流程图；

图9示意性示出本公开示例性实施例中一种基于感兴趣区域对第一去噪图像块进行划区域去噪的流程图；

图10示意性示出本公开示例性实施例中图像码流去噪装置的组成示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

图1示出了可以应用本公开实施例的一种图像码流去噪方法及装置的示例性应用环境的系统架构的示意图。

如图1所示，系统架构100可以包括终端设备101、102、103中的一个或多个，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。终端设备101、102、103可以是各种具有图像处理功能的电子设备，包括但不限于台式计算机、便携式计算机、智能手机和平板电脑等等。应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。

本公开实施例所提供的图像码流去噪方法一般由服务器105执行，相应地，图像码流去噪装置一般设置于服务器105中。但本领域技术人员容易理解的是，本公开实施例所提供的图像码流去噪方法也可以由终端设备101、102、103执行，相应的，图像码流去噪装置也可以设置于终端设备101、102、103中，本示例性实施例中对此不做特殊限定。

本公开的示例性实施方式提供一种用于实现图像码流去噪方法的电子设备，其可以是图1中的终端设备101、102、103或服务器105。该电子设备至少包括处理器和存储器，存储器用于存储处理器的可执行指令，处理器配置为经由执行可执行指令来执行图像码流去噪方法。

下面以图2中的移动终端200为例，对电子设备的构造进行示例性说明。本领域技术人员应当理解，除了特别用于移动目的的部件之外，图2中的构造也能够应用于固定类型的设备。在另一些实施方式中，移动终端200可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现。各部件间的接口连接关系只是示意性示出，并不构成对移动终端200的结构限定。在另一些实施方式中，移动终端200也可以采用与图2不同的接口连接方式，或多种接口连接方式的组合。

如图2所示，移动终端200具体可以包括：处理器210、内部存储器221、外部存储器接口222、通用串行总线(Universal Serial Bus，USB)接口230、充电管理模块240、电源管理模块241、电池242、天线1、天线2、移动通信模块250、无线通信模块260、音频模块270、扬声器271、受话器272、麦克风273、耳机接口274、传感器模块280、显示屏290、摄像模组291、指示器292、马达293、按键294以及用户标识模块(subscriber identification module，SIM)卡接口295等。其中传感器模块280可以包括深度传感器2801、压力传感器2802、陀螺仪传感器2803等。

处理器210可以包括一个或多个处理单元，例如：处理器210可以包括应用处理器(Application Processor，AP)、调制解调处理器、图形处理器(Graphics ProcessingUnit，GPU)、图像信号处理器(Image Signal Processor，ISP)、控制器、视频编解码器、数字信号处理器(Digital Signal Processor，DSP)、基带处理器和/或神经网络处理器(Neural-Network Processing Unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

NPU为神经网络(Neural-Network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现移动终端200的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

处理器210中设置有存储器。存储器可以存储用于实现六个模块化功能的指令：检测指令、连接指令、信息管理指令、分析指令、数据传输指令和通知指令，并由处理器210来控制执行。

充电管理模块240用于从充电器接收充电输入。电源管理模块241用于连接电池242、充电管理模块240与处理器210。电源管理模块241接收电池242和/或充电管理模块240的输入，为处理器210、内部存储器221、显示屏290、摄像模组291和无线通信模块260等供电。

移动终端200的无线通信功能可以通过天线1、天线2、移动通信模块250、无线通信模块260、调制解调处理器以及基带处理器等实现。其中，天线1和天线2用于发射和接收电磁波信号；移动通信模块250可以提供应用在移动终端200上的包括2G/3G/4G/5G等无线通信的解决方案；调制解调处理器可以包括调制器和解调器；无线通信模块260可以提供应用在移动终端200上的包括无线局域网(Wireless Local Area Networks，WLAN)(如无线保真(Wireless Fidelity，Wi-Fi)网络)、蓝牙(Bluetooth，BT)等无线通信的解决方案。在一些实施例中，移动终端200的天线1和移动通信模块250耦合，天线2和无线通信模块260耦合，使得移动终端200可以通过无线通信技术与网络以及其他设备通信。

移动终端200通过GPU、显示屏290及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏290和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器210可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

移动终端200可以通过ISP、摄像模组291、视频编解码器、GPU、显示屏290及应用处理器等实现拍摄功能。其中，ISP用于处理摄像模组291反馈的数据；摄像模组291用于捕获静态图像或视频；数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号；视频编解码器用于对数字视频压缩或解压缩，移动终端200还可以支持一种或多种视频编解码器。

外部存储器接口222可以用于连接外部存储卡，例如Micro SD卡，实现扩展移动终端200的存储能力。外部存储卡通过外部存储器接口222与处理器210通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器221可以用于存储计算机可执行程序代码，可执行程序代码包括指令。内部存储器221可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储移动终端200使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器221可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(Universal Flash Storage，UFS)等。处理器210通过运行存储在内部存储器221的指令和/或存储在设置于处理器中的存储器的指令，执行移动终端200的各种功能应用以及数据处理。

移动终端200可以通过音频模块270、扬声器271、受话器272、麦克风273、耳机接口274及应用处理器等实现音频功能。例如音乐播放、录音等。

深度传感器2801用于获取景物的深度信息。在一些实施例中，深度传感器可以设置于摄像模组291。

压力传感器2802用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器2802可以设置于显示屏290。压力传感器2802的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。

陀螺仪传感器2803可以用于确定移动终端200的运动姿态。在一些实施方式中，可以通过陀螺仪传感器2803确定移动终端200围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器2803可以用于拍摄防抖、导航、体感游戏场景等。

此外，还可以根据实际需要在传感器模块280中设置其他功能的传感器，例如气压传感器、磁传感器、加速度传感器、距离传感器、接近光传感器、指纹传感器、温度传感器、触摸传感器、环境光传感器、骨传导传感器等。

移动终端200中还可包括其它提供辅助功能的设备。例如，按键294包括开机键，音量键等，用户可以通过按键输入，产生与移动终端200的用户设置以及功能控制有关的键信号输入。再如，指示器292、马达293、SIM卡接口295等。

下面以服务器执行为例，对本公开示例性实施方式的图像码流去噪方法和图像码流去噪装置进行具体说明。

图3示出了本示例性实施方式中一种图像码流去噪方法的流程，可以包括以下步骤S310至步骤S340：

在步骤S310中，获取图像码流，并对所述图像码流进行解码，得到解码图像块以及所述解码图像块对应的解码参数。

在一示例性实施例中，图像码流(Data Rate)是指对视频或者图像进行编码形成的码流，具体是指视频文件在单位时间内使用的数据流量，也叫码率，是视频编码中画面质量控制中最重要的部分。同样分辨率下，视频文件的码流越大，压缩比就越小，画面质量就越好。例如，图像码流可以是对图像编码形成的码流，如jpeg编码形成的码流，HEIC编码形成的码流等，也可以是视频编码形成的码流，如H.264编码形成的码流，H.265编码形成的码流，H.266编码形成的码流，AVS编码形成的码流等，本示例实施例对此不做特殊限定。

解码图像块，也可以认为是宏块(Macroblock)，在视频编码中，一个编码图像通常可以划分成若干宏块，一个宏块可以由一个亮度像素块和附加的两个色度像素块组成。一般来说，亮度块为16x16大小的像素块，而两个色度图像像素块的大小依据其图像的采样格式而定，如：对于YUV420采样图像，色度块为8x8大小的像素块。每个图像中，若干宏块被排列成片的形式，视频编码算法以宏块为单位，逐个宏块进行编码，组织成连续的视频码流。

解码参数是指图像码流中携带的附加信息，例如，解码参数可以包括图像码流的编码模式(如帧内编码模式、帧间编码模式)、帧内预测方向、解码图像块之间的运动矢量相关信息、量化参数等，本示例实施例不以此为限。

在步骤S320中，根据所述解码参数对所述解码图像块进行基于码流的去噪，得到第一去噪图像块。

在一示例性实施例中，基于码流的去噪是指结合图像码流中携带的解码参数指导解码图像块进行去噪的处理过程。由于图像码流的编解码方式，会导致产生一些噪点，因此结合解码参数对解码图像块进行基于码流的去噪，能够有效去除一些仅通过图像内容去噪无法去除的噪点，有效保证图像码流的去噪效果。

在步骤S330中，对所述第一去噪图像块进行基于图像内容的去噪，得到第二去噪图像块。

在一示例性实施例中，基于图像内容的去噪是指对解码图像块中的图像内容直接进行去噪的处理过程，基于图像内容的去噪可以包括基于时间的去噪和/或基于空间的去噪，具体可以根据实际应用场景决定仅基于时间的去噪，或者仅基于空间的去噪，或者基于时间和空间的去噪，本示例实施例对此不做任何特殊限定。

需要说明的是，本示例实施例中的“第一”、“第二”仅用于区别描述基于码流去噪后的解码图像块，和基于图像内容去噪后的解码图像块，没有任何数量或者顺序上的含义，并不应对本示例实施例造成任何特殊的限定。

在步骤S340中，通过所述解码参数对所述第二去噪图像块进行编码，得到去噪后的图像码流。

在一示例性实施例中，解码图像块去噪完成后，对去噪后的图像块重新进行编码，在编码时，对每个去噪后的解码图像块，采用与之前一致的解码方案，即可以通过解码参数对去噪后的解码图像块进行编码，保证重新编码后的图像块不会改变去噪结果，有效保证重新编码后的图像码流的质量。

下面对步骤S310至步骤S340进行展开说明。

在一示例性实施例中，步骤S320可以包括图4中的步骤S410至步骤S430，实现在帧内编码模式下根据解码参数对解码图像块进行基于码流的去噪，参考图4所示，具体可以包括：

步骤S410，根据所述解码参数确定所述解码图像块的编码模式和量化参数；

步骤S420，若所述解码图像块的编码模式为帧内编码模式，则获取所述解码图像块的帧内预测方向；

步骤S430，根据所述帧内预测方向和所述量化参数对所述解码图像块进行空域去噪，得到第一去噪图像块。

其中，编码模式是指图像码流在编码时所采的编码方式，例如，编码模式可以包括帧内编码模式(帧内压缩)，即当前图像帧的编码与前后一帧或者多帧的图像帧没有关系，由当前图像帧中已编码的部分来推测当前待编码的内容，实现图像帧的编码；编码模式也可以包括帧间编码模式(帧间压缩)，即由当前图像帧的后一帧或者多帧的图像帧来推测当前图像帧中待编码的内容，实现图像帧的编码。

量化是指用有限个幅度值近似原来连续变化的幅度值,把模拟信号的连续幅度变为有限数量的有一定间隔的离散值，编码就是按照一定的规律(编解码参数)将量化后的离散值用二进制数字进行表示。量化参数(Quantitative parameters，QP)在本质上可以理解为量化步长(Quantitative step，Qstep)，量化参数QP是量化步长Qstep的序号，QP取最小值0时，表示量化最为精细，相反，QP取最大值51时，表示量化是最粗糙的。例如，对于亮度(Luma)编码而言，量化步长Qstep共有52个值，量化参数QP取值为0～51，QP取最小值0时，量化步长可以为0.625，QP取最大值51时，量化步长可以为224。

帧内预测方向是指图像块在编码时所有像素的方向，例如，在HEVC的帧内预测过程中，当前图像块内的所有像素根据指定的预测方向被映射到左侧或者上侧参考像素。具体来讲，对于方向预测模式18～模式34，当前图像块的像素被映射到上侧参考像素，对于模式2～模式17，当前图像块的像素被映射到左侧参考像素。

具体的，在根据帧内预测方向和量化参数对解码图像块进行空域去噪时，可以先检测解码图像块是否存在帧内预测方向，例如可以从解码参数中检测解码图像块是否帧内预测方向。

如果检测到解码图像块存在帧内预测方向，那么可以对存在帧内预测方向的解码图像块进行方向性滤波，得到第一去噪图像块，具体可以通过滤波器实现对解码图像块的方向性滤波，例如，可以通过3抽头对称性滤波器、或者5抽头对称性滤波器，或者7抽头对称性滤波器对存在帧内预测方向的解码图像块进行方向性滤波，具体如何选择滤波器，则可以根据具体的应用场景进行确定，本示例实施例对此不做特殊限定。其中，方向性滤波的强度可以由量化参数(或者量化步长)的大小以及解码图像块的噪声等级确定。

举例而言，如果选择5抽头对称性滤波器，滤波器的参数可以为k0*c0，k1*c1，k2*c2，k1*c1，k0*c0，量化参数越大，则k2到k1到k0的下降幅度越小，反之，量化参数越小，则k2到k1到k0的下降幅度越大；c0至c2则可以根据解码图像块的噪声等级由人工进行设定。

如果检测到解码图像块不存在帧内预测方向，则可以对解码图像块进行平滑滤波或者导向滤波，得到第一去噪图像块，当然，在对不存在帧内预测方向的解码图像块进行空域去噪时，除了平滑滤波或者导向滤波之外，还可以其他任意类型的空域去噪方式，本示例实施例不以此为限。其中，平滑滤波或者导向滤波的强度可以由量化参数的大小确定，量化参数越大，则去噪的强度越小，当然，也可以根据应用场景中去噪的难易程度选择由量化参数的大小和人工设定联合确定，本示例对此不作特殊限定。

在一示例性实施例中，步骤S320还可以包括图5中的步骤S510至步骤S520，实现在帧间编码模式下根据解码参数对解码图像块进行基于码流的去噪，参考图5所示，具体可以包括：

步骤S510，若所述解码图像块的编码模式为帧间编码模式，则获取所述解码图像块的运动矢量信息和参考图像块；

步骤S520，根据所述运动矢量信息、所述参考图像块和所述量化参数对所述解码图像块进行时空域联合去噪，得到第一去噪图像块。

其中，运动矢量信息是指解码图像块与选取的参考图像块之间的运动矢量的相关信息，例如，运动矢量信息可以包括但不限于运动矢量差异MVD，运动矢量差异MVD具体可以根据最佳匹配块运动矢量MV与时域预测的运动矢量MVP的差值确定，可以从解码参数中获取解码图像块的运动矢量信息。

可以根据获取的运动矢量信息以及对应的参考图像帧索引，在参考图像帧中找到对应的参考图像块。

具体的，步骤S520可以包括图6中的步骤S610至步骤S620，实现根据运动矢量信息、参考图像块和量化参数对解码图像块进行时空域联合去噪，参考图6所示，具体可以包括：

步骤S610，对所述解码图像块和所述参考图像块进行空域去噪，得到空域去噪后的解码图像块和空域去噪后的参考图像块；

步骤S620，确定融合权重，并通过所述融合权重将所述空域去噪后的解码图像块和所述空域去噪后的参考图像块进行时域叠加，得到第一去噪图像块。

其中，空域去噪可以包括非局部均值去噪(Non-Local Means，NLM)、平滑滤波和导向滤波中的任意一种或者多种组合。

以非局部均值去噪为例，具体空域去噪过程如下：

步骤1，采用n*n的图像块遍历全图，首先计算当前图像块(cur)的梯度，若梯度大于梯度阈值(grad_thr)，则该当前图像块不进行去噪，否则，进入步骤2；

步骤2，采用当前图像块周围的参考图像块(ref)与当前图像块进行匹配，匹配的方式为绝对差之和(Sum of absolute differences，SAD)，若SAD小于阈值(sad_thr)，则可以认为该参考图像块与当前图像块匹配成功；遍历周围8个参考图像块后，将匹配成功的所有参考图像块与当前图像块进行加权融合，最终得到空域去噪后的输出。

其中，grad_thr和sad_thr可以根据噪声的大小进行区别设置，噪声越大，grad_thr和sad_thr设置越大，反之设置越小；其中，块大小可以根据噪声形态进行区别设置，噪声从细碎的低频噪声到斑状的高频噪声，块的设置越来越大；其中，水平和垂直遍历的步长范围，均为从1到n；噪声从细碎的低频噪声到斑状的高频噪声，步长越来越小；噪声越大，步长越小。其中，亮度和色度的空域去噪，涉及到的块大小，遍历步长，grad_thr和sad_thr设为不一样。

在对解码图像块和参考图像块空域去噪之后，由于解码图像块为帧间编码模式，因此可以继续对空域去噪后的解码图像块和空域去噪后的参考图像帧进行时域去噪，具体是根据计算好的融合权重将空域去噪后的解码图像块和空域去噪后的参考图像块进行时域叠加，得到时空与联合去噪后的解码图像块即第一去噪图像块。

进一步的，可以计算解码图像块和参考图像块之间的时域距离和解码图像块和参考图像块之间的空域距离，然后可以根据解码图像块的量化参数、运动矢量差异以及时域距离和空域距离确定融合权重。例如，融合权重的计算公式如关系式(1)所示：

WGT＝a*QP+b*TDST+c*SDST+d*MVD(1)

其中，WGT可以表示融合权重，QP可以表示解码图像块的量化参数，TDST可以表示解码图像块和参考图像块之间的时域距离，SDST可以表示解码图像块和参考图像块之间的空域距离，MVD可以表示解码图像块对应的运动矢量差异，a、b、c、d均可以表示设定的参数，可以根据具体的应用场景进行自定义设置，参数a、b、c、d的设定规则可以按照：参数a的设置可以使QP与WGT成反比，QP越大，WGT越小；参数b的设置可以使TDST与WGT成反比，TDST越大，WGT越小；参数c的设置可以使SDST与WGT成反比，SDST越大，WGT越小；参数d的设置可以使MVD与WGT成反比，MVD越大，WGT越小。

当然，本示例实施例中还可以继续将解码图像块对应的参考图像块的参考图像块作为计算融合权重的内容，以进一步提升去噪效果。如果仅有单向预测，则对于解码图像块仅有一个参考图像块，如果有双向预测，则对于解码图像块有至少两个参考块，下面以解码图像块有两个参考图像块为例举例说明。

举例而言，假设解码图像块有参考图像块0和参考图像块1，而参考图像块0有参考图像块0-1和参考图像块0-2，参考图像块1有参考图像块1-1和参考图像块1-2；那么针对参考图像块0-1和参考图像块0-2可以按照融合权重计算得到参考图像块0-3，针对参考图像块1-1和参考图像块1-2可以按照融合权重计算得到参考图像块1-3。最后可以根据参考图像块0、参考图像块1、参考图像块0-3、参考图像块1-3以及解码图像块，按照融合权重计算得到最终的第一去噪图像块，其中，参考图像块0-3和参考图像块0的融合权重一致，参考图像块1-3和参考图像块1的融合权重一致。

在一示例性实施例中，步骤S330可以包括步骤S710至步骤S720，实现对第一去噪图像块进行基于图像内容的去噪，参考图7所示，具体可以包括：

步骤S710，对所述第一去噪图像块进行图像区域划分，得到所述第一去噪图像块的图像区域信息；

步骤S720，根据所述图像区域信息确定所述第一去噪图像块中各图像区域的去噪强度，并根据所述去噪强度分别对所述第一去噪图像块中的各图像区域进行去噪，得到第二去噪图像块。

其中，图像区域信息是指将第一去噪图像块按照包含的图像内容划分后得到的区域，例如，可以根据第一去噪图像块包含的纹理复杂度对第一去噪图像块进行区域划分得到图像区域信息，也可以根据预先设定的感兴趣区域对第一去噪图像块进行区域划分得到图像区域信息，当然，还可以根据其他的维度对第一去噪图像块进行区域划分得到图像区域信息，本示例实施例对此不做特殊限定。

通过基于内容的去噪，针对性解决了解码图像块中不同的纹理区域的噪声不同的问题，避免对图像块所有区域进行相同强度的去噪而导致部分区域纹理缺失或者部分区域去噪强度较弱的问题，有效提升去噪效果。

具体的，步骤S720可以包括图8中的步骤S810和步骤S820，实现对第一去噪图像块进行图像区域划分，参考图8所示，具体可以包括：

步骤S810，提取所述第一去噪图像块对应的纹理复杂度；

步骤S820，根据所述纹理复杂度对所述第一去噪图像块进行图像区域划分，得到所述第一去噪图像块的图像区域信息。

其中，纹理复杂度是指图像块中纹理细节(或者可以认为是对图像块进行边缘检测得到结果)的密集程度，纹理细节越密集则说明该图像区域的纹理细节越复杂，所包含的图像内容越多，因此在对该图像区域去噪时应减小去噪强度，以避免纹理细节被过滤掉；相反的，纹理细节越稀疏则说明该图像区域的纹理细节越简单，所包含的图像内容越少，因此在对该图像区域去噪时应加强去噪强度，提升该图像区域的去噪效果。

具体的，步骤S720可以包括图9中的步骤S910和步骤S920，实现对第一去噪图像块进行图像区域划分，参考图9所示，具体可以包括：

步骤S910，确定所述第一去噪图像块对应的感兴趣区域；

步骤S920，根据所述感兴趣区域对所述第一去噪图像块进行图像区域划分，得到所述第一去噪图像块的图像区域信息。

其中，感兴趣区域是指第一去噪图像块中包含目标图像内容的区域，例如，假设图像块中包含人脸信息，则可以通过AI模型划分出人脸信息对应的图像区域，并将人脸信息对应的图像区域设置为感兴趣区域，此时，在对感兴趣区域对应的图像区域进行去噪时可以减少去噪强度，而在对感兴趣区域之外的图像区域进行去噪时可以增强去噪强度；当然，相反的，感兴趣区域也可以是图像块中除人脸信息之外的图像区域，此时，在对感兴趣区域对应的图像区域进行去噪时可以增强去噪强度，而在对感兴趣区域之外的图像区域进行去噪时可以减小去噪强度。感兴趣区域还可以是自定义设置的，本示例实施例对此不做特殊限定。

综上所述，本示例性实施方式中，对图像码流进行解码，得到解码图像块以及解码参数，然后可以根据解码参数对解码图像块进行基于码流的去噪，得到第一去噪图像块，继续对第一去噪图像块进行基于图像内容的去噪，得到第二去噪图像块；最后可以通过解码参数对第二去噪图像块进行编码，得到去噪后的图像码流。一方面，根据图像码流携带的解码参数对解码图像块进行基于码流的去噪以及基于图像内容的去噪，实现多维度的去噪处理，有效降低解码图像块的噪声，优化图像码流的去噪效果；另一方面，采用和解码时相同的编码策略，提升图像码流的转码效果，并结合优化的去噪效果，有效提升去噪后的图像码流的质量。

需要注意的是，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

进一步的，参考图10所示，本示例的实施方式中还提供一种图像码流去噪装置1000，可以包括图像码流解码模块1010、码流去噪模块1020、图像内容去噪模块1030和图像码流编码模块1040。其中：

图像码流解码模块1010用于获取图像码流，并对所述图像码流进行解码，得到解码图像块以及所述解码图像块对应的解码参数；

码流去噪模块1020用于根据所述解码参数对所述解码图像块进行基于码流的去噪，得到第一去噪图像块；

图像内容去噪模块1030用于对所述第一去噪图像块进行基于图像内容的去噪，得到第二去噪图像块；

图像码流编码模块1040用于通过所述解码参数对所述第二去噪图像块进行编码，得到去噪后的图像码流。

在一示例性实施例中，码流去噪模块1020可以包括：

编码模式确定单元，用于根据所述解码参数确定所述解码图像块的编码模式和量化参数；

帧内预测方向获取单元，用于若所述解码图像块的编码模式为帧内编码模式，则获取所述解码图像块的帧内预测方向；

空域去噪单元，用于根据所述帧内预测方向和所述量化参数对所述解码图像块进行空域去噪，得到第一去噪图像块。

在一示例性实施例中，空域去噪单元可以用于：

对存在所述帧内预测方向的所述解码图像块进行方向性滤波，得到第一去噪图像块，所述方向性滤波的强度由所述量化参数的大小以及所述解码图像块的噪声等级确定。

在一示例性实施例中，图像码流去噪装置1000还可以包括滤波单元，该滤波单元可以用于：

若所述解码图像块不存在所述帧内预测方向，则对所述解码图像块进行平滑滤波或者导向滤波，得到第一去噪图像块，所述平滑滤波或者导向滤波的强度由所述量化参数的大小确定。

在一示例性实施例中，码流去噪模块1020可以包括：

参考图像块获取单元，用于若所述解码图像块的编码模式为帧间编码模式，则获取所述解码图像块的运动矢量信息和参考图像块；

时空域联合去噪单元，用于根据所述运动矢量信息、所述参考图像块和所述量化参数对所述解码图像块进行时空域联合去噪，得到第一去噪图像块。

在一示例性实施例中，时空域联合去噪单元可以用于：

对所述解码图像块和所述参考图像块进行空域去噪，得到空域去噪后的解码图像块和空域去噪后的参考图像块；所述空域去噪包括非局部均值去噪、平滑滤波和导向滤波中的任意一种或者多种组合。

确定融合权重，并通过所述融合权重将所述空域去噪后的解码图像块和所述空域去噪后的参考图像块进行时域叠加，得到第一去噪图像块。

在一示例性实施例中，时空域联合去噪单元还可以用于：

计算所述解码图像块和所述参考图像块的时域距离和空域距离；

根据所述量化参数、所述运动矢量信息、所述时域距离和所述空域距离确定所述融合权重。

在一示例性实施例中，图像内容去噪模块1030可以包括：

图像区域划分单元，用于对所述第一去噪图像块进行图像区域划分，得到所述第一去噪图像块的图像区域信息；

第一去噪图像块去噪单元，用于根据所述图像区域信息确定所述第一去噪图像块中各图像区域的去噪强度，并根据所述去噪强度分别对所述第一去噪图像块中的各图像区域进行去噪，得到第二去噪图像块。

在一示例性实施例中，图像区域划分单元还可以用于：

提取所述第一去噪图像块对应的纹理复杂度；

根据所述纹理复杂度对所述第一去噪图像块进行图像区域划分，得到所述第一去噪图像块的图像区域信息。

在一示例性实施例中，图像区域划分单元还可以用于：

确定所述第一去噪图像块对应的感兴趣区域；

根据所述感兴趣区域对所述第一去噪图像块进行图像区域划分，得到所述第一去噪图像块的图像区域信息。

上述装置中各模块的具体细节在方法部分实施方式中已经详细说明，未披露的细节内容可以参见方法部分的实施方式内容，因而不再赘述。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

本公开的示例性实施方式还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤，例如可以执行图3至图9中任意一个或多个步骤。

需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

此外，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (10)

1.一种图像码流去噪方法，其特征在于，包括：

获取图像码流，并对所述图像码流进行解码，得到解码图像块以及所述解码图像块对应的解码参数；

在所述解码图像块的编码模式为帧间编码模式或帧内编码模式下，根据所述解码参数对所述解码图像块进行基于码流的去噪，得到第一去噪图像块；

对所述第一去噪图像块进行图像区域划分得到第一去噪图像块的图像区域信息，根据所述图像区域信息确定第一去噪图像块中各图像区域的去噪强度，并根据所述去噪强度分别对第一去噪图像块中各图像区域进行基于图像内容的去噪，得到第二去噪图像块；

通过所述解码参数对所述第二去噪图像块进行编码，得到去噪后的图像码流；

其中，根据所述解码参数对所述解码图像块进行基于码流的去噪，得到第一去噪图像块，包括：

根据所述解码参数确定所述解码图像块的编码模式和量化参数；

若所述解码图像块的编码模式为帧内编码模式，则获取所述解码图像块的帧内预测方向，并根据所述帧内预测方向和所述量化参数对所述解码图像块进行空域去噪，得到第一去噪图像块；

若所述解码图像块的编码模式为帧间编码模式，则获取所述解码图像块的运动矢量信息和参考图像块，并根据所述运动矢量信息、所述参考图像块和所述量化参数对所述解码图像块进行时空域联合去噪，得到第一去噪图像块。

2.根据权利要求1所述的方法，其特征在于，所述根据所述帧内预测方向和所述量化参数对所述解码图像块进行空域去噪，得到第一去噪图像块，包括：

对存在所述帧内预测方向的所述解码图像块进行方向性滤波，得到第一去噪图像块，所述方向性滤波的强度由所述量化参数的大小以及所述解码图像块的噪声等级确定。

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

若所述解码图像块不存在所述帧内预测方向，则对所述解码图像块进行平滑滤波或者导向滤波，得到第一去噪图像块，所述平滑滤波或者导向滤波的强度由所述量化参数的大小确定。

4.根据权利要求1所述的方法，其特征在于，所述根据所述运动矢量信息、所述参考图像块和所述量化参数对所述解码图像块进行时空域联合去噪，得到第一去噪图像块，包括：

对所述解码图像块和所述参考图像块进行空域去噪，得到空域去噪后的解码图像块和空域去噪后的参考图像块；所述空域去噪包括非局部均值去噪、平滑滤波和导向滤波中的任意一种或者多种组合；

确定融合权重，并通过所述融合权重将所述空域去噪后的解码图像块和所述空域去噪后的参考图像块进行时域叠加，得到第一去噪图像块。

5.根据权利要求4所述的方法，其特征在于，所述确定融合权重，包括：

计算所述解码图像块和所述参考图像块的时域距离和空域距离；

根据所述量化参数、所述运动矢量信息、所述时域距离和所述空域距离确定所述融合权重。

6.根据权利要求1所述的方法，其特征在于，所述对所述第一去噪图像块进行图像区域划分，得到所述第一去噪图像块的图像区域信息，包括：

提取所述第一去噪图像块对应的纹理复杂度；

根据所述纹理复杂度对所述第一去噪图像块进行图像区域划分，得到所述第一去噪图像块的图像区域信息。

7.根据权利要求1所述的方法，其特征在于，所述对所述第一去噪图像块进行图像区域划分，得到所述第一去噪图像块的图像区域信息，包括：

确定所述第一去噪图像块对应的感兴趣区域；

根据所述感兴趣区域对所述第一去噪图像块进行图像区域划分，得到所述第一去噪图像块的图像区域信息。

8.一种图像码流去噪装置，其特征在于，包括：

图像码流解码模块，用于获取图像码流，并对所述图像码流进行解码，得到解码图像块以及所述解码图像块对应的解码参数；

码流去噪模块，用于在所述解码图像块的编码模式为帧间编码模式或帧内编码模式下，根据所述解码参数对所述解码图像块进行基于码流的去噪，得到第一去噪图像块；

图像内容去噪模块，用于对所述第一去噪图像块进行图像区域划分得到第一去噪图像块的图像区域信息，根据所述图像区域信息确定第一去噪图像块中各图像区域的去噪强度，并根据所述去噪强度分别对第一去噪图像块中各图像区域进行基于图像内容的去噪，得到第二去噪图像块；

图像码流编码模块，用于通过所述解码参数对所述第二去噪图像块进行编码，得到去噪后的图像码流；

其中，根据所述解码参数对所述解码图像块进行基于码流的去噪，得到第一去噪图像块，包括：

根据所述解码参数确定所述解码图像块的编码模式和量化参数；

若所述解码图像块的编码模式为帧内编码模式，则获取所述解码图像块的帧内预测方向，并根据所述帧内预测方向和所述量化参数对所述解码图像块进行空域去噪，得到第一去噪图像块；

若所述解码图像块的编码模式为帧间编码模式，则获取所述解码图像块的运动矢量信息和参考图像块，并根据所述运动矢量信息、所述参考图像块和所述量化参数对所述解码图像块进行时空域联合去噪，得到第一去噪图像块。

9.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法。

10.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至7任一项所述的方法。