CN114331810A - 图像处理方法及相关装置 - Google Patents

Abstract

本申请实施例公开了一种图像处理方法，本申请实施例方法包括：数据处理设备获取原始图像后，对原始图像进行下采样，通过深度网络计算后生成深度双边网格，通过对深度双边网格中的原始仿射变换矩阵进行修正，得到新仿射变换矩阵，数据处理设备根据新仿射变换矩阵进行仿射滤波，生成增强后的图像。根据修正后的新仿射变换矩阵得到的增强后的图像，有效的减少了负优化的现象。

Description

图像处理方法及相关装置

技术领域

本申请实施例涉及人工智能领域，尤其涉及一种图像处理方法及相关装置。

背景技术

现有的海量视频、图片资源，受限于复杂的拍摄环境、设备像元响应性能、非专业的拍摄手法、网络传输压缩失真等因素，存在亮度分布不均衡、层次不丰富、饱和度不足，甚至细节模糊丢失等问题，严重影响了用户的观看体验。

对于图像进行图像增强可以有效的改善上述问题，增强图像是一种有目的地强调图像的整体或局部特性的方式，将原始图像变得清晰或强调某些用户感兴趣的特征。

现有图像增强方法为对原始图像进行下采样，生成深度双边网格，并对所述深度双边网格进行上采样，生成原始仿射变换矩阵，根据该仿射变换矩阵进行放射滤波得到的图像在某些场景下会出现负优化，例如：高亮过曝、暗部出现底噪、肤色不自然等。

发明内容

本申请实施例第一方面提供了一种图像处理方法，包括：

数据处理设备获取原始图像后，对原始图像进行下采样，通过深度网络计算后生成深度双边网格，通过对深度双边网格中的原始仿射变换矩阵进行修正，得到新仿射变换矩阵，数据处理设备根据新仿射变换矩阵进行仿射滤波，生成增强后的图像。

根据修正后的新仿射变换矩阵得到的增强后的图像，有效的减少了负优化的现象。

基于本申请实施例第一方面，本申请实施例第一方面的第一种实施方式中，数据处理设备生成新仿射变换矩阵的具体过程可以为，数据处理设备对深度双边网格进行上采样，生成原始仿射变换矩阵，并修正原始仿射变换矩阵，得到新仿射变换矩阵。

本申请实施例中，提供了一种生成新仿射变换矩阵的具体实现方式。

基于本申请实施例第一方面或第一方面的第一种实施方式，本申请实施例第一方面的第二种实施方式中，数据处理设备确定高亮抑制曲线，该高亮抑制曲线指示不同灰度值下原始图像和网络增强图像融合时所占的权重，数据处理设备可以根据高亮抑制曲线修正原始仿射变换矩阵。

本申请实施中，提供了一种通过高亮抑制曲线修正原始放射变换矩阵的方法，通过修正后的仿射变换矩阵生成的图像有效减少了高亮过曝的概率。

基于本申请实施例第一方面的第二种实施方式，本申请实施例第一方面的第三种实施方式中，高亮抑制曲线对应的函数为连续函数，且高亮抑制曲线对应的函数单调可导。

基于本申请实施例第一方面至第一方面的第三种实施方式中任一实施方式，本申请实施例第一方面的第四种实施方式中，数据处理设备确定记忆色区域，相对于图像的其他区域记忆色区域增强幅度较低。

本申请实施例中，提供了对于记忆色区域区分处理的方法。

基于本申请实施例第一方面至第一方面的第四种实施方式中任一实施方式，本申请实施例第一方面的第五种实施方式中，当原始图像的分辨率大于预设阈值时，数据处理设备对原始图像进行多次下采样，通过深度网络计算后生成深度双边网格。

本申请实施例中，数据处理设备可以对原始图像进行多次下采样，以保证图像处理的效率。

本申请实施例第二方面提供了一种数据处理设备，该数据处理设备执行前述第一方面以及第一方面任一实施方式的方法。

本申请实施例第三方面提供了一种计算机存储介质，该计算机存储介质中存储有指令，该指令在计算机上执行时，使得计算机执行前述第一方面以及第一方面任一实施方式的方法。

本申请实施例第四方面提供了一种计算机软件产品，该计算机程序产品在计算机上执行时，使得计算机执行前述第一方面以及第一方面任一实施方式的方法。

附图说明

图1为本申请实施例中图像处理方法一个流程示意图；

图2为本申请实施例中双边网格原理示意图；

图3为本申请实施例中图像处理方法另一个流程示意图；

图4为本申请实施例中图像处理方法另一个流程示意图；

图5为本申请实施例中深度网络训练和推理的示意图；

图6为本申请实施例中融合实现高光区域抑制的示意图；

图7为本申请实施例中高亮抑制曲线的几种可能的示意图；

图8为本申请实施例中肤色色调的保持过程的一个示意图；

图9为本申请实施例中记忆色保持曲线的一个示意图；

图10为本申请实施例中数据处理设备一个结构示意图；

图11为本申请实施例中数据处理设备另一个结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。在本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，a和b，a和c，b和c或a和b和c，其中a、b和c可以是单个，也可以是多个。值得注意的是，“至少一项(个)”还可以解释成“一项(个)或多项(个)”。

需要说明的是，本申请中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

本申请实施例中出现的第一、第二等描述，仅作示意与区分描述对象之用，没有次序之分，也不表示本申请实施例中对设备个数的特别限定，不能构成对本申请实施例的任何限制。

本申请实施例提供了一种图像处理方法，用于图像增强，提高图像质量。

本申请实施例中，数据处理设备可以为终端设备，又称之为用户设备(userequipment，UE)、移动台(mobile station，MS)、移动终端(mobile terminal，MT)等，是指向用户提供语音和/或数据连通性的设备。例如，具有无线连接功能的手持式设备、车载设备等。目前，一些终端的举例为：手机(mobile phone)、平板电脑、笔记本电脑、掌上电脑、移动互联网设备(mobile internet device，MID)、可穿戴设备，虚拟现实(virtual reality，VR)设备、增强现实(augmented reality，AR)设备、工业控制(industrial control)中的无线终端、无人驾驶(self driving)中的无线终端、远程手术(remote medical surgery)中的无线终端、智能电网(smart grid)中的无线终端、运输安全(transportation safety)中的无线终端、智慧城市(smart city)中的无线终端、智慧家庭(smart home)中的无线终端等。

参阅图1，本申请实施例中图像处理方法一个流程示意图包括：

101、数据处理设备获取原始图像；

数据处理设备获取原始图像，当输入为视频流(如：在线视频、本地视频、投屏、视频通话等)时，可以将视频流经过视频硬件解码器处理获得图像帧，将图像帧作为原始图像。

102、数据处理设备对原始图像进行下采样，生成深度双边网格；

如图2所示，双边网格本质上是一个可以保存边缘信息的3维的数据结构，假设原始图像的分辨率为1024*1024，可以先对该原始图像进行下采样得到缩略图，缩略图的缩小比例不做限定，如缩略图分辨率为256*256，即从原始图像中选取样本得到缩小16倍的图像，也可以为其他比例，如缩略图分辨率为512*512，即缩小四倍。

数据处理设备将缩略图送入深度神经网络，获得深度双边网格，如图3所示，由于深度神经网络的运算非常庞大，所以对于原始图像一般进行下采样，得到缩略图，再跟进缩略图得到双边网格。参阅如4，若原始图像的分辨率大于预设阈值时，如原始图像为超高分辨率的照片(4k、8k分辨率等)，数据处理设备可以对原始图像进行多次下采样，以保证图像处理的效率。

103、数据处理设备对深度双边网格进行上采样，生成原始仿射变换矩阵；

参阅图5，在深度网络的训练阶段，对其提供训练样本，如原始图片、成对的标注图、以及重点对象的语义掩膜，通过控制损失函数使得网络拟合双边网格和语义掩膜信息，此时深度双边网格通过双边引导上采样(bilateral guide upsampling，BGU)产生系数矩阵，即为原始仿射变换矩阵，如下所示，为原始仿射变换矩阵的一个例子。

104、数据处理设备修正原始仿射变换矩阵，得到新仿射变换矩阵；

本申请实施例中可以对原始仿射变换矩阵进行修正，达到高光抑制，记忆色保持、暗部保持等效果。下面分别进行说明：

1、高亮、暗部增强；

参阅图6，图6为融合实现高光区域抑制的示意图，数据处理设备可以将原始输入和推理结果进行融合，通过调整不同亮度值下融合强度的曲线，实现高亮、暗部的最终增强效果的控制。在实现过程中，可将对应亮度值下的权重参数提前计算，形成映射查找表，用于仿射系数的快速调整。参阅图7为高亮抑制曲线S的几种可能的示意图，其中横坐标X表示灰度值，纵坐标Y表示原始图像和网络增强图像融合时所占的权重。融合曲线通常满足以下性质：1)连续可导且单调；2)快速下降区间、下降斜率方便调节；3)融合强度上下限(值域范围)方便调节等。

2、记忆色保持。

在图像中，某些特定对象的色调是记忆色，与其余色系的增强策略差异较大，例如天空的蓝色、植被的绿色、人像的肤色等，数据处理设备确定记忆色区域，相对于图像的其他区域记忆色区域增强幅度低。

以人像肤色为例，一方面不同人种的色调差异较大，较难界定肤色的颜色值范围，另一方面类似肤色的色调也会出现在背景区域中，只通过颜色值选取无法有效区分。注意到，对人像肤色的处理往往更倾向于保持真实感，不宜大幅度增强，即不需要大幅调整肤色的亮度、饱和度、对比度，对于特定范围内的颜色融合时，原始输入应该占据绝大部分权重；同时，权重参数按照掩膜信息以屏蔽非人像的区域。参阅图8，为肤色色调的保持过程的一个示意图。参阅图9为记忆色(如肤色)保持曲线H的一个示意图。

当原始仿射变换矩阵A为：

像素点记为I＝[R G B 1]^T，其中R，G，B分别代表像素点的红绿蓝的深度。

设原始图像的灰度引导图为W，高亮抑制曲线为S，记忆色(如肤色)保持曲线为H，语义掩膜为M，语意掩膜M可以为一个对图像各像素点进行标记的矩阵，以肤色为例，可以对皮肤部分的像素点记为1，其他部分的像素点记为0。

叠加高亮抑制结果为：Y′＝S(W(I))×A×I+(1-S(W(I)))×I；

再叠加记忆色保持结果为：Y＝(M×H(I))×Y′+(1-M×H(I))×Y′；

修正后的新仿射变换矩阵为：

105、数据处理设备根据新仿射变换矩阵进行仿射滤波，生成增强后的图像。

数据处理设备根据新仿射变换矩阵进行仿射滤波，生成增强后的图像，具体可以为X′＝A′×I。

结合图5，本申请实施例中，在网络的前向推理阶段，除了利用双边网格以外，还加入高亮抑制参数、结合语义掩膜的记忆色保持参数等，对原始仿射变换矩阵的系数进行调节，形成具备多功能的新仿射变换矩阵，用于最终的像素值优化计算。

上面对本申请实施例中的数据传输方法进行了描述，下面对本申请实施例中的装置进行描述，参阅图10，本申请实施例中数据处理设备一个实施例包括：

获取单元1001，用于获取原始图像。

生成单元1002，用于对原始图像进行下采样，通过深度网络计算后生成深度双边网格，还用于根据新仿射变换矩阵进行仿射滤波，生成增强后的图像。

修正单元1003，用于对深度双边网格中的原始仿射变换矩阵进行修正，得到新仿射变换矩阵。

本实施例中，各单元所执行的操作与前图1所示实施例中，数据处理设备执行的操作描述的类似，此处不在赘述。

图11是本申请实施例提供的数据处理设备的结构示意图，该数据处理设备1100可以包括一个或一个以上处理器1101和存储器1105，该存储器1105中存储有一个或一个以上的应用程序或数据。

其中，存储器1105可以是易失性存储或持久存储。存储在存储器1105的程序可以包括一个或一个以上模块，每个模块可以包括对数据处理设备1100中的一系列指令操作。更进一步地，处理器1101可以设置为与存储器1105通信，在数据处理设备1100上执行存储器1105中的一系列指令操作。

数据处理设备1100还可以包括一个或一个以上电源1102，一个或一个以上有线或无线网络接口1103，一个或一个以上输入输出接口1104，和/或，一个或一个以上操作系统，例如：微软操作系统(Windows)，安卓操作系统(Android)，苹果操作系统(Mac OS)，尤尼克斯操作系统(Unix)，里那克斯操作系统(Linux)中任一个。

该处理器1101可以执行前述任一实施例中数据处理设备所执行的操作，具体此处不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，read-onlymemory)、随机存取存储器(RAM，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (14)

1.一种图像处理方法，其特征在于，包括：

数据处理设备获取原始图像；

所述数据处理设备对所述原始图像进行下采样，通过深度网络计算后生成深度双边网格；

所述数据处理设备对所述深度双边网格中的原始仿射变换矩阵进行修正，得到新仿射变换矩阵；

所述数据处理设备根据所述新仿射变换矩阵进行仿射滤波，生成增强后的图像。

2.根据权利要求1所述的方法，其特征在于，所述数据处理设备对所述深度双边网格中的原始仿射变换矩阵进行修正，得到新仿射变换矩阵包括：

所述数据处理设备对所述深度双边网格进行上采样，生成原始仿射变换矩阵；

所述数据处理设备修正所述原始仿射变换矩阵，得到新仿射变换矩阵。

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

所述数据处理设备确定高亮抑制曲线，所述高亮抑制曲线指示不同灰度值下原始图像和网络增强图像融合时所占的权重；

所述数据处理设备根据所述高亮抑制曲线修正所述原始仿射变换矩阵。

4.根据权利要求3所述的方法，其特征在于，所述高亮抑制曲线对应的函数为连续函数，且所述高亮抑制曲线对应的函数单调可导。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述方法还包括：

所述数据处理设备确定记忆色区域，相对于图像的其他区域所述记忆色区域增强幅度较低。

6.根据权利要求1至5中任一项所述的方法，其特征在于，所述数据处理设备对所述原始图像进行下采样，通过深度网络计算后生成深度双边网格包括：

当所述原始图像的分辨率大于预设阈值时，所述数据处理设备对所述原始图像进行多次下采样，通过深度网络计算后生成深度双边网格。

7.一种数据处理设备，其特征在于，包括：

获取单元，用于获取原始图像；

生成单元，用于对所述原始图像进行下采样，通过深度网络计算后生成深度双边网格；

修正单元，用于对所述深度双边网格中的原始仿射变换矩阵进行修正，得到新仿射变换矩阵；

所述生成单元，还用于根据所述新仿射变换矩阵进行仿射滤波，生成增强后的图像。

8.根据权利要求7所述的设备，其特征在于，所述修正单元具体用于，对所述深度双边网格进行上采样，生成原始仿射变换矩阵，修正所述原始仿射变换矩阵，得到新仿射变换矩阵。

9.根据权利要求7或8所述的设备，其特征在于，所述数据处理设备还包括确定单元，用于确定高亮抑制曲线，所述高亮抑制曲线指示不同灰度值下原始图像和网络增强图像融合时所占的权重；

所述修正单元根据所述高亮抑制曲线修正所述原始仿射变换矩阵。

10.根据权利要求9所述的设备，其特征在于，所述高亮抑制曲线对应的函数为连续函数，且所述高亮抑制曲线对应的函数单调可导。

11.根据权利要求7至10中任一项所述的设备，其特征在于，所述确定单元还用于，确定记忆色区域，相对于图像的其他区域所述记忆色区域增强幅度较低。

12.根据权利要求7至11中任一项所述的设备，其特征在于，所述生成单元具体用于，当所述原始图像的分辨率大于预设阈值时，对所述原始图像进行多次下采样，通过深度网络计算后生成深度双边网格。

13.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有指令，所述指令在计算机上执行时，使得所述计算机执行如权利要求1至6中任一项所述的方法。

14.一种计算机程序产品，其特征在于，所述计算机程序产品在计算机上执行时，使得所述计算机执行如权利要求1至6中任一项所述的方法。

Images