CN108335306B - 图像处理方法及装置、电子设备和存储介质 - Google Patents
图像处理方法及装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN108335306B CN108335306B CN201810168388.4A CN201810168388A CN108335306B CN 108335306 B CN108335306 B CN 108335306B CN 201810168388 A CN201810168388 A CN 201810168388A CN 108335306 B CN108335306 B CN 108335306B
- Authority
- CN
- China
- Prior art keywords
- image
- result
- parameter
- convolution processing
- image segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Abstract
本公开涉及一种图像处理方法及装置、电子设备和存储介质，所述方法包括：获取基于待处理的图像或其中间处理结果的卷积处理结果；获取表示将所述图像划分为多个不同区域的图像分割结果；根据所述图像分割结果对所述卷积处理结果进行调制。本公开实施例可实现图像不同区域的差异化调制处理。
Description
技术领域
本公开涉及图像处理技术领域，尤其涉及一种图像处理方法及装置、电子设备和存储介质。
背景技术
图像的类别众多，例如风景类的图像和人物类的图像存在很大差异。即使相同类别图像的内容，例如风景类的图像内容也复杂多变。在对图像进行超分辨率等图像处理时，需要采用不同的处理条件进行图像处理。
发明内容
本公开提出了一种图像处理技术方案。
根据本公开的一方面，提供了一种图像处理方法，包括：
获取基于待处理的图像或其中间处理结果的卷积处理结果；
获取表示将所述图像划分为多个不同区域的图像分割结果；
根据所述图像分割结果对所述卷积处理结果进行调制。
在一种可能的实现方式中，根据所述图像分割结果对所述卷积处理结果进行调制，包括：
基于所述图像分割结果确定调制参数；
根据所述调制参数对所述卷积处理结果进行调制。
在一种可能的实现方式中，根据所述图像分割结果确定调制参数，包括：
对所述图像分割结果进行卷积处理；
基于卷积处理后的所述图像分割结果确定所述调制参数。
在一种可能的实现方式中，所述多个不同区域中至少二个不同区域对应的调制参数不同。
在一种可能的实现方式中，所述调制包括：仿射变换处理或指数变换处理。
在一种可能的实现方式中，根据所述图像分割结果对所述卷积处理结果进行调制，包括：
将所述图像分割结果进行第一卷积处理得到尺度参数；
将所述图像分割结果进行第二卷积处理得到偏置参数；
利用所述尺度参数和所述偏置参数对所述卷积处理结果进行仿射变换处理，其中所述尺度参数用于调制所述卷积处理结果的尺度，所述偏置参数用于调制所述卷积处理结果的偏置。
在一种可能的实现方式中，利用所述尺度参数和所述偏置参数对所述卷积处理结果进行仿射变换处理，包括：
将所述卷积处理结果与所述尺度参数相乘后与所述偏置参数相加，或
将所述卷积处理结果与所述偏置参数相加后与所述尺度参数相乘。
在一种可能的实现方式中，根据所述图像分割结果对所述卷积处理结果进行调制，包括：
将所述图像分割结果进行第三卷积处理得到形状参数；
将所述图像分割结果进行第四卷积处理得到位置参数；
利用所述形状参数和所述位置参数对所述卷积处理结果进行指数变换处理，其中所述形状参数用于调制所述卷积处理结果的形状，所述位置参数用于调制所述卷积处理结果的位置。
在一种可能的实现方式中，获取表示将所述图像划分为多个不同区域的图像分割结果，包括：
根据多个不同的图像分割类别对所述图像的空间特征进行概率计算，得到所述图像分割结果。
在一种可能的实现方式中，所述图像分割类别根据以下一种或任意组合来确定：图像语义、图像深度或图像纹理颗粒度。
在一种可能的实现方式中，所述方法应用于神经网络，所述神经网络包括至少一卷积层和至少一空间特征调制层；
所述卷积层对输入的所述图像或其中间处理结果进行卷积处理，得到所述卷积处理结果；
所述空间特征调制层根据所述图像分割结果对输入的卷积处理结果进行调制。
在一种可能的实现方式中，所述神经网络包括多个所述特征调制层，所述方法还包括：
将所述图像分割结果输入到所述神经网络中的各个空间特征调制层。
在一种可能的实现方式中，所述方法还包括：
将调制后的所述卷积处理结果进行上采样处理，得到所述图像的超分辨率图像。
在一种可能的实现方式中，所述方法还包括：
将调制后的所述卷积处理结果通过分类器进行处理，得到所述图像的分类结果。
在一种可能的实现方式中，所述方法还包括：
根据调制后的所述卷积处理结果对所述图像进行去噪、去模糊和/或图像风格转换。
根据本公开的一方面，提供了一种图像处理装置，包括：
卷积处理结果获取模块，用于获取基于待处理的图像或其中间处理结果的卷积处理结果；
图像分割结果获取模块，用于获取表示将所述图像划分为多个不同区域的图像分割结果；
调制模块，用于根据所述图像分割结果对所述卷积处理结果进行调制。
在一种可能的实现方式中，所述调制模块，包括：
调制参数确定子模块，用于基于所述图像分割结果确定调制参数；
调制子模块，用于根据所述调制参数对所述卷积处理结果进行调制。
在一种可能的实现方式中，所述调制参数确定子模块，包括：
卷积处理子模块，用于对所述图像分割结果进行卷积处理；
第一参数确定子模块，用于基于卷积处理后的所述图像分割结果确定所述调制参数。
在一种可能的实现方式中，所述多个不同区域中至少二个不同区域对应的调制参数不同。
在一种可能的实现方式中，所述调制包括：仿射变换处理或指数变换处理。
在一种可能的实现方式中，所述调制模块，包括：
尺度参数获取子模块，用于将所述图像分割结果进行第一卷积处理得到尺度参数；
偏置参数获取子模块，用于将所述图像分割结果进行第二卷积处理得到偏置参数；
仿射变换处理子模块，用于利用所述尺度参数和所述偏置参数对所述卷积处理结果进行仿射变换处理，其中所述尺度参数用于调制所述卷积处理结果的尺度，所述偏置参数用于调制所述卷积处理结果的偏置。
在一种可能的实现方式中，所述仿射变换处理子模块，包括：
第一仿射变换处理子模块，用于将所述卷积处理结果与所述尺度参数相乘后与所述偏置参数相加，或
第二仿射变换处理子模块，用于将所述卷积处理结果与所述偏置参数相加后与所述尺度参数相乘。
在一种可能的实现方式中，所述调制模块，包括：
形状参数获取子模块，用于将所述图像分割结果进行第三卷积处理得到形状参数；
位置参数获取子模块，用于将所述图像分割结果进行第四卷积处理得到位置参数；
指数变换处理子模块，用于利用所述形状参数和所述位置参数对所述卷积处理结果进行指数变换处理，其中所述形状参数用于调制所述卷积处理结果的形状，所述位置参数用于调制所述卷积处理结果的位置。
在一种可能的实现方式中，图像分割结果获取模块，包括：
概率计算子模块，用于根据多个不同的图像分割类别对所述图像的空间特征进行概率计算，得到所述图像分割结果。
在一种可能的实现方式中，所述图像分割类别根据以下一种或任意组合来确定：图像语义、图像深度或图像纹理颗粒度。
在一种可能的实现方式中，所述装置应用于神经网络，所述神经网络包括至少一卷积层和至少一空间特征调制层；
所述卷积层对输入的所述图像或其中间处理结果进行卷积处理，得到所述卷积处理结果；
所述空间特征调制层根据所述图像分割结果对输入的卷积处理结果进行调制。
在一种可能的实现方式中，所述神经网络包括多个所述特征调制层，所述装置还包括：
共享模块，用于将所述图像分割结果输入到所述神经网络中的各个空间特征调制层。
在一种可能的实现方式中，所述装置还包括：
上采样模块，用于将调制后的所述卷积处理结果进行上采样处理，得到所述图像的超分辨率图像。
在一种可能的实现方式中，所述装置还包括：
分类模块，用于将调制后的所述卷积处理结果通过分类器进行处理，得到所述图像的分类结果。
在一种可能的实现方式中，所述装置还包括：
第一图像处理功能模块，用于根据调制后的所述卷积处理结果对所述图像进行去噪、去模糊和/或图像风格转换。
根据本公开的一方面，提供了一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：执行上述图像处理方法。
根据本公开的一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述图像处理方法。
在本公开实施例中，图像分割结果可以根据图像处理的目的进行灵活的设定和调整。图像分割结果作为额外的图像处理条件，不影响图像调制的其它处理过程，可实现图像不同区域的差异化调制处理，从而提高了图像处理的灵活度和多样性。同时图像分割结果能够保留待处理图像的各种特征，使得图像处理的结果更加理想。
根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。
图1示出根据本公开一实施例的图像处理方法的流程图；
图2示出根据本公开一实施例的图像处理方法的流程图；
图3示出根据本公开一实施例的图像处理方法的流程图；
图4示出根据本公开一实施例的图像处理方法的流程图；
图5示出根据本公开一实施例的图像处理方法的流程图；
图6示出根据本公开一实施例的图像处理方法的流程图；
图7示出根据本公开一实施例的图像处理方法中空间特征调制层的示意图；
图8示出根据本公开一实施例的图像处理方法中图像分割结果的处理示意图；
图9示出根据本公开一实施例的图像处理方法中神经网络的示意图；
图10示出根据本公开一实施例的图像处理装置的框图；
图11示出根据本公开一实施例的图像处理装置的框图；
图12是根据一示例性实施例示出的一种电子装置的框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
图1示出根据本公开一实施例的图像处理方法的流程图，如图1所示，所述图像处理方法包括：
步骤S10，获取基于待处理的图像或其中间处理结果的卷积处理结果。
在一种可能的实现方式中，待处理的图像可包括单张的静态图像，或者，也可包括一段视频中连续的多张图像，或者，可包括一段视频中的某一帧图像。根据图像处理的目的，可直接将待处理的图像进行至少一次卷积处理后得到卷积处理结果。或者，也可将待处理的图像进行图像变换、图像压缩、图像分类、卷积处理、滤波处理、灰度变换等一种或多种图像处理后得到中间处理结果，再将中间处理结果进行至少一次的卷积处理后得到本步骤所述的卷积处理结果。
在图像处理的过程中如果包括多个中间处理结果，可根据其中一个中间处理结果获取一个卷积处理结果，也可根据多个中间处理结果分别获取多个卷积处理结果。
步骤S20，获取表示将所述图像划分为多个不同区域的图像分割结果。
在一种可能的实现方式中，可将图像的整体划分为多个不同的区域，也可将图像的一部分划分为多个不同的区域。例如，可以将图像整体划分为多个不同的区域，也可以将图像的中心区域或边缘区域划分为多个不同的区域。多个不同的区域可以是连续的区域，也可以是不连续的区域。各区域的面积和形状可以相同，也可以不同。多个区域的划分方式非常灵活，例如，可以通过不同的像素值来表示图像中不同的区域的划分，或者，可以通过不同的色块来表示图像中不同的区域的划分，或者，可以通过不同的灰度值来表示图像中不同的区域的划分，本公开对此并不限制。
图像分割结果将根据图像中的多个不同区域进行分割后得到的，或将分割后的不同区域的图像进行进一步处理后得到的，因此图像分割结果中包括图像的不同区域的特征。
步骤S30，根据所述图像分割结果对所述卷积处理结果进行调制。
在一种可能的实现方式中，在图像处理中，利用图像中不同的特征信息，例如利用图像中不同位置的图像内容信息，对图像进行处理后得到的结果是不同的。例如一张风景图像的画面中有天空和草地，则图像的上方包括天空的特征信息，图像的下方包括草地的特征信息。利用天空的特征信息，或利用草地的特征信息对整个图像进行处理，得到的图像处理结果不尽相同。
在本公开实施例中，可以根据图像处理的目的，选择不同的图像分割结果，对图像的不同卷积处理结果进行调制。可以通过选择不同的图像分割结果，实现在图像处理过程中方便灵活的引入不同的额外的调制条件。并且基于图像不同区域的不同图像分割结果和图像的卷积处理结果，可以针对图像的不同区域进行差异化的调制，由此更好满足图像处理的目的，提高图像处理的效果。
例如，对风景类的图像和人物类的图像，本公开实施例可以通过获取不同的图像分割结果，实现通过设置不同的图像处理条件对图像进行调制。而对一张风景类的图像，本公开实施例也可以针对图像中的天空和草地获取天空和草地的图像分割结果。后续将该图像分割结果作为图像调制的考虑条件，便于对图像中的天空区域和草地区域等图像的不同位置进行差异化调制，最终得到理想的图像处理结果。
图像1为风景类的图像，图像1的上半部分的图像内容包括天空，下半部分的图像内容包括草地。将图像进行图像识别或卷积处理后，可以得到包括天空的特征的图像分割结果和包括草地的特征的图像分割结果。对图像进行超分辨率处理时，可以根据包括天空的特征图像分割结果对图像1的上半部分的卷积处理结果进行调制，和/或根据包括草地的特征的图像分割结果，对图像1的下半部分的卷积处理结果进行调制。根据图像1的不同区域的图像特征对图像进行调制，能够得到更加理想的超分辨率处理结果。
在本公开实施例中，图像分割结果，可以是其它神经网络输出的，可以是传感器输出的，还可以是根据图像处理目的预先设定的，本公开对此并不限制。
在本实施例中，图像分割结果可以根据图像处理的目的进行灵活的设定和调整。图像分割结果作为额外的图像处理条件，不影响图像调制的其它处理过程，可实现图像不同区域的差异化调制处理，从而提高了图像处理的灵活度和多样性。同时图像分割结果能够保留待处理图像的各种特征，使得图像处理的结果更加理想。
图2示出根据本公开一实施例的图像处理方法的流程图，如图2所示，步骤S30包括：
步骤S31，基于所述图像分割结果确定调制参数。
步骤S32，根据所述调制参数对所述卷积处理结果进行调制。
在一种可能的实现方式中，根据图像分割结果确定调制参数，可根据图像分割结果直接确定调制参数。例如，通过设定图像分割结果和调制参数的对应关系，根据查找图像分割结果直接查找对应的调制参数，再根据查找到的调制参数对卷积处理结果进行调制。或者，也可将图像分割结果进行滤波处理、或进行增强处理、或进行卷积处理等处理后，再根据处理结果确定调制参数。
调制参数，可包括一个或多个调制参数。调制参数可包括数值形式或向量形式。
例如，可以根据图像不同位置的图像内容得到图像分割结果。在图像1的图像分割结果中，包括天空的特征和草地的特征。在图像分割结果和调制参数的对应关系A中，图像分割结果天空的特征时对应调制参数a，图像分割结果中草地的特征时对应调制参数b。因此，根据图像1的图像分割结果，查找到调制参数a和调制参数b。根据调制参数a和调制参数b对图像1进行调制。
在本实施例中，根据图像分割结果确定调制参数，利用调制参数对图像卷积处理结果进行调制，可以将图像分割结果方便的引入图像处理过程中，实现方式简单可靠。
图3示出根据本公开一实施例的图像处理方法的流程图，如图3所示，步骤S31包括：
步骤S311，对所述图像分割结果进行卷积处理。
步骤S312，基于卷积处理后的所述图像分割结果确定所述调制参数。
在一种可能的实现方式中，对不同的图像的图像分割结果进行卷积处理，能够得到的不同的调制参数。即使是相同类型的图像，只要不同图像的内容存在差异，也能够得到不同的调制参数。例如，图像1和图像2属于相同类型的图像，只存在部分差异。如果根据图像1和图像2的图像分割结果直接确定调制参数，则确定出的图像1和图像2的调制参数有可能相同。如果分别对图像1和图像2的图像分割结果进行卷积处理后，基于图像1和图像2存在的差异，将得到不同的卷积结果，根据卷积结果确定出的图像1和图像2的调制参数也会不同。利用不同的调制参数，图像1和图像2能够得到更加理想的图像处理结果。
在本实施例中，利用将图像分割结果进行卷积处理后确定的调制参数进行图像处理，能够得到更加符合图像自身特征的调制结果。
在一种可能的实现方式中，所述多个不同区域中至少二个不同区域对应的调制参数不同。
待处理的图像被划分为多个区域得到图像分割结果，再根据图像分割结果确定调制参数，每个区域至少会确定出一个对应的调制参数。由于图像不同区域的特征通常不同，不同的区域对应不同的调制参数，可基于图像自身特征的不同得到更好的图像处理结果。
根据图像处理目的，可为不同的区域分别对应不同的调制参数，也可将不同区域进行分类后，为不同类别的区域对应不同的调制参数。本公开对此不限定。
在本实施例中，根据图像自身的特征存在的差异，利用至少两个不同的调制参数对图像进行处理，能够得到更加理想的图像处理结果。
在一种可能的实现方式中，所述调制包括：仿射变换处理或指数变换处理。
仿射变换处理(affine transformation)，包括将图像的空间向量在空间上进行线性变换以及平移后，转换为另一个空间向量。指数变换处理(Exponentialtransformation)，包括将图像的各种元素值按照指数函数关系变换后，得到另外一个图像。根据图像处理的目的，经过仿射变换或指数变换处理后，图像的卷积处理结果的特征更加突出，更容易被提取和计算，从而实现更加有效的图像处理运算，节省运算代价，得到更加理想的图像处理结果。
所述调制还可包括对数变换等其它处理方式，本公开对此不限定。
图4示出根据本公开一实施例的图像处理方法的流程图，如图4所示，步骤S30包括：
步骤S33，将所述图像分割结果进行第一卷积处理得到尺度参数。
步骤S34，将所述图像分割结果进行第二卷积处理得到偏置参数。
步骤S35，利用所述尺度参数和所述偏置参数对所述卷积处理结果进行仿射变换处理，其中所述尺度参数用于调制所述卷积处理结果的尺度，所述偏置参数用于调制所述卷积处理结果的偏置。
在其中一种可能的实现方式中，尺度参数和偏置参数可包括矩阵形式，也可包括其他表现形式，本公开对此并不限制。尺度参数和偏置参数可以是仿射变换参数中的线性映射参数和平移参数。可以利用尺度参数对卷积处理结果进行线性映射，利用偏置参数对卷积处理结果进行平移。
第一卷积处理和第二卷积处理可以是两个独立的卷积处理过程，分别利用至少一个卷积层进行卷积计算。例如，利用第一卷积层和第二卷积层进行第一卷积处理，利用第三卷积层和第四卷积层进行第二卷积处理。根据图像处理的目的，可以通过训练数据集1和损失函数1训练第一卷积层和第二卷积层，以使图像分割结果经过训练后的第一卷积层和第二卷积层处理后得到尺度参数。同时通过训练数据集2和损失函数2训练第三卷积层和第四卷积层，以使图像分割结果经过第三卷积层和第四卷积层处理后得到偏置参数。其中，训练数据集1和训练数据集2不同，损失函数1和损失函数2不同。
在一种可能的实现方式中，根据得到的尺度参数和所述偏置参数对卷积处理结果进行仿射变换处理。包括：将所述卷积处理结果与所述尺度参数相乘后与所述偏置参数相加，或将所述卷积处理结果与所述偏置参数相加后与所述尺度参数相乘。
可以利用公式1对卷积处理结果进行仿射变换处理：
M(F|γ，β)＝γ⊙F+β， 公式1
其中，M(Modulation，调制)表示调制处理函数，F表示卷积处理结果，γ表示尺度参数，β表示偏置参数，⊙表示相乘。
根据图像处理的目的，还可以利用其它的计算方式，例如将所述卷积处理结果与所述尺度参数和所述偏置参数相加的方式、或将所述卷积处理结果与所述尺度参数和所述偏置参数相乘的方式，对所述卷积处理结果进行调制。本公开对此不限定。
在本实施例中，通过将尺度参数、偏置参数和卷积层输出的特征进行简单的计算，完成对卷积处理结果的调制。调制的运算过程简单，调制效率高。
图5示出根据本公开一实施例的图像处理方法的流程图，如图5所示，步骤S30包括：
步骤S36，将所述图像分割结果进行第三卷积处理得到形状参数。
步骤S37，将所述图像分割结果进行第四卷积处理得到位置参数。
步骤S38，利用所述形状参数和所述位置参数对所述卷积处理结果进行指数变换处理，其中所述形状参数用于调制所述卷积处理结果的形状，所述位置参数用于调制所述卷积处理结果的位置。
在一种可能的实现方式中，形状参数和位置参数可以是矩阵形式，也可以是其他表现形式，本公开对此并不限制。形状参数或位置参数可以包括多个。可以利用形状参数用于对卷积处理结果的形状进行变换，利用位置参数对卷积处理结果的位置进行移动。
第三卷积处理和第四卷积处理可以是两个独立的卷积处理过程，分别利用至少一个卷积层进行卷积计算。例如，利用第五卷积层和第六卷积层进行第三卷积处理，利用第七卷积层和第八卷积层进行第四卷积处理。根据图像处理的目的，可以通过训练数据集3和损失函数3训练第五卷积层和第六卷积层，以使图像分割结果经过训练后的第五卷积层和第六卷积层处理后得到形状参数。同时通过训练数据集4和损失函数4训练第七卷积层和第八卷积层，以使图像分割结果经过第七卷积层和第八卷积层处理后得到位置参数。其中，训练数据集3和训练数据集4不同，损失函数3和损失函数4不同。数据集包括的具体内容和损失函数的形式可根据图像处理要达到的目的而定，训练方式可采用监督、半监督或无监督的方式进行，本公开对此均不限定。
可以利用公式2对卷积处理结果进行指数变换处理：
M(F)＝bc(F-a)-1， 公式2
其中，M(Modulation，调制)表示调制处理函数，F表示卷积处理结果，a表示位置参数，b表示第一形状参数，c表示第二形状参数。
在本实施例中，通过将形状参数、位置参数和卷积层输出的特征进行简单的计算，完成对卷积处理结果的调制。调制的运算过程简单，调制效率高。
图6示出根据本公开一实施例的图像处理方法的流程图，如图6所示，步骤S20包括：
步骤S21，根据多个不同的图像分割类别对所述图像的空间特征进行概率计算，得到所述图像分割结果。
在一种可能的实现方式中，图像分割类别包括根据不同的属性对图像的进行分割的类别。例如，图像分割类别A中包括天空、草地、水、树、山、建筑、其他背景共7个子类别。风景类的图像1中包括了天空、草地和树，则利用图像分割类别A可以将图像1分割为天空、草地和树。
图像分割网络可以是训练好的神经网络，也可以是利用初始参数的神经网络。图像分割网络根据图像分割类别，对待处理的图像中不同位置的空间特征是否符合图像分割类别进行概率计算，得到图像分割结果。
图像分割结果可包括分割概率图。分割概率图的数量可以与图像分割类别中子类别的数量相等。例如将图像1输入图像分割网络，图像分割网络根据图像分割类别A进行概率计算，得到图像1的七张分割概率图。分割概率图1对应子类别天空，由于图像1中包括天空，因此在分割概率图1中与图像1中天空对应的位置有接近1的概率，其它位置的概率为0。分割概率图2对应子类别草地，由于图像1中包括草地，因此在分割概率图2中与图像1中草地对应的位置有接近1的概率，其它位置的概率为0。其它分割概率图以此类推。
在本公开实施例中，可以利用公式3表示图像分割网络得到待处理的图像的分割概率图：
Ψ＝(P1，P2，...，PK)， 公式3
其中，Ψ表示分割概率图的集合，K表示图像分割类别中子类别的总数量，P1表示图像分割类别中子类别1的分割概率图，P2表示图像分割类别中子类别2的分割概率图，PK表示图像分割类别中子类别k的分割概率图。
在本实施例中，利用空间特征计算得到的图像分割结果，可以对图像中不同位置的特征进行区分，因此利用图像分割结果对卷积处理结果进行调制，可以根据图像不同位置的特征进行更有针对性的分别调制，提升恢复图像纹理的自然性和真实性，得到更加理想的图像处理结果。
在一种可能的实现方式中，所述图像分割类别根据以下一种或任意组合来确定：图像语义、图像深度或图像纹理颗粒度。
根据图像语义确定的图像分割类别，可以根据图像中的内容对图像进行分割，例如根据图像中的内容是风景还是人物进行分割；根据图像深度确定的图像分割类别，可以根据图像中不同位置的深度信息对图像进行分割，例如根据图像中的不同位置的景深信息进行分割；根据图像纹理颗粒度确定的图像分割类别，可以根据图像中不同位置的颗粒度信息对图像进行分割。
根据图像语义和图像深度结合确定的图像分割类别，可以是先根据图像语义将图像进行分割后，再根据图像深度进行进一步的分割。也可以是根据图像深度将图像进行分割后，再根据图像语义进行进一步的分割。本公开对此不限定。
在一种可能的实现方式中，所述方法应用于神经网络，所述神经网络包括至少一卷积层和至少一空间特征调制层；所述卷积层对输入的所述图像或其中间处理结果进行卷积处理，得到所述卷积处理结果；所述空间特征调制层根据所述图像分割结果对输入的卷积处理结果进行调制。
所述神经网络可以包括一个或多个空间特征调制层。在神经网络包括多个空间特征调制层的情形下，不同的空间特征调制层可以通过设定不同的卷积参数，生成不同的调制参数，从而实现不同的调制目的。
图7示出根据本公开一实施例的图像处理方法中空间特征调制层的示意图，如图7所示，空间特征调制层(Spatial Feature Modulation Layer)将图像分割结果(conditions)分别经过独立的两层卷积层(Conv)处理后，分别得到尺度参数(γ)和偏置参数(β)。将输入空间特征调制层的卷积处理结果(features)先与尺度参数相乘后，再与偏置参数相加，完成对输入的卷积处理结果的调制。其中，图7中所示的四个卷积层，可以利用不同的训练数据集，并利用不同的损失函数进行反向传播，调整卷及参数，当满足收敛条件后停止训练。根据上述不同的训练过程，图7中所示的四个卷积层，得到不同的卷积核等卷积参数，将图像分割结果输入图7中所示的四个卷积层进行处理后，可以得到尺度参数和偏置参数。
在一种可能的实现方式中，所述方法应用于神经网络，所述神经网络还可以包括条件网络，条件网络将图像分割结果进行卷积处理，例如将分割概率图进行卷积处理。条件网络可以包括一个或多个卷积层。图8示出根据本公开一实施例的图像处理方法中图像分割结果的处理示意图，如图8所示，利用图像分割网络(图8中未示出)得到待处理的图像的分割概率图(Segmentation probability maps)，再经过条件网络(Condition Network)的四层卷积层(Conv)的运算后的，得到图像分割结果(图8中右侧所示)。利用条件网络的卷积处理，有利于在图像分割结果中提取特定的特征，得到更加符合图像处理目的的调制参数，也使得图像分割结果的可适用范围更广，神经网络的普适性更强。
在一种可能的实现方式中，所述神经网络包括多个所述特征调制层，所述方法还包括：将所述图像分割结果输入到所述神经网络中的各个空间特征调制层。
神经网络中的条件网络得到的图像分割结果，可以同时输入多个空间特征调制层进行共享，提高图像处理神经网络的处理效率。
在一种可能的实现方式中，也可以将条件网络的卷积计算功能设置于空间特征调制层中，多个空间特征调制层各自运算得到图像分割结果后使用。本公开对此不限定。
在本实施例中，空间特征调制层共享图像分割结果，提高了图像处理的效率。
在一种可能的实现方式中，所述方法还包括：将调制后的所述卷积处理结果进行上采样处理，得到所述图像的超分辨率图像。
图9示出根据本公开一实施例的图像处理方法中神经网络的示意图，如图9所示的神经网络用于提高图像的分辨率，包括多个空间特征调制层(SFMLayer)、多个卷积层(Conv)、条件网络(Condition Network)、上采样层(Upsampling)。如图9所示，交错设置的两个空间特征调制层和两个卷积层组成一个残差模块(Residual block)，图9中的神经网络中共有16个残差模块。
在图9所示的神经网络的训练过程中，可以利用训练好的图像分类网络，例如超分辨率测试序列网络(VGG Network，VisualGeometry Group Network)产生的感知损失(Percetual loss)，和鉴别器(discriminator)产生的对抗损失(GAN loss)对神经网络进行反向传播。通过感知损失和对抗损失的反向传播，调整神经网络中空间特征调制层、卷积层、条件网络和上采样层的参数，使得下一次训练的输入通过反向传播调整参数后的神经网络可以得到更加符合期望的输出。当满足设定好的训练条件，例如根据输出得到的损失达到一定的阈值，或训练达到一定的次数后，可以认为神经网络满足收敛条件，停止训练，得到训练好的神经网络。
利用训练好的神经网络，将待处理的图像经过图9所示的神经网络进行处理，通过神经网络中的多个空间特征调制层、多个卷积层、条件网络、上采样层后，得到待处理的图像的超分辨率结果。其中，输入空间特征调制层图像分割结果，可以根据待处理的图像的不同，进行灵活的调整，不用受限于神经网络的输入条件的限制。
例如，图像1的内容复杂，可以将图像1按照图像语义的分割得到图像分割结果1、图像分割结果2和图像分割结果3。在对图像1进行超分辨率处理时，可以将图像分割结果1、图像分割结果2和图像分割结果3的其中一种或任意组合，输入图9所示的训练好的神经网络进行处理。根据图像处理的目的，可以在神经网络中为不同的图像分割结果设置不同的权重，得到不同的图像调制结果，使得图9所示的神经网络的适用范围更广，处理效果更加理想。
在一种可能的实现方式中，所述方法还包括：将调制后的所述卷积处理结果通过分类器进行处理，得到所述图像的分类结果。
由于图像中内容的多样性，在图像的各种使用场景中，同样一张图像可能被分类至多个种类。例如，根据图像1中的内容，图像1的分类可以为“风景”、“蓝天”“白云”“草地”，当用户检索关键词“风景”、“蓝天”“白云”“草地”时，图像1均可以作为检索结果给出，从而提高图像的使用效率。
将图9所示的神经网络中的上采样层置换为采样器后，可将上述神经网络用于图像分类。可以根据图像分类的目的需求，将图9中的空间特征调制层、卷积层、条件网络设置进行变化，例如增加或减少卷积层等，本公开对此不限定。神经网络的训练过程可以同上，不再赘述。
在一种可能的实现方式中，所述方法还包括：根据调制后的所述卷积处理结果对所述图像进行去噪、去模糊和/或图像风格转换。
结合本公开实施例中的方法，可以通过将如图9所示的神经网络中的相应的功能模块进行替换，实现完成各种图像处理目的的图像处理。例如，在图9所示的神经网络中去掉上采样层或添加全连接层等，得到不同图像处理功能的神经网络。可以在不同图像处理功能的神经网络的训练过程中，设置不同的训练集数据，选择不同的损失函数等，训练不同图像处理功能的神经网络。利用训练好的图像处理功能的神经网络，完成不同的图像处理目的。
不同的图像处理目的可以满足不同的使用需求。例如，去噪可以提高图像细节的清晰度，去模糊可以提高图像的整体或细节的清晰度、图像风格转化可以将图像转换为黑白风格、偏黄的做旧风格等。
可以理解，本公开提及的上述各个方法实施例，在不违背原理逻辑的情况下，均可以彼此相互结合形成结合后的实施例，限于篇幅，本公开不再赘述。
此外，本公开还提供了图像处理装置、电子设备、计算机可读存储介质、程序，上述均可用来实现本公开提供的任一种图像处理方法，相应技术方案和描述和参见方法部分的相应记载，不再赘述。
图10示出根据本公开一实施例的图像处理装置的框图，如图10所示，所述图像处理装置包括：
卷积处理结果获取模块10，用于获取基于待处理的图像或其中间处理结果的卷积处理结果。
图像分割结果获取模块20，用于获取表示将所述图像划分为多个不同区域的图像分割结果。
调制模块30，用于根据所述图像分割结果对所述卷积处理结果进行调制。
图11示出根据本公开一实施例的图像处理装置的框图，如图11所示，在一种可能的实现方式中，所述调制模块30，包括：
调制参数确定子模块31，用于基于所述图像分割结果确定调制参数。
调制子模块32，用于根据所述调制参数对所述卷积处理结果进行调制。
在一种可能的实现方式中，所述调制参数确定子模块31，包括：
卷积处理子模块，用于对所述图像分割结果进行卷积处理；
第一参数确定子模块，用于基于卷积处理后的所述图像分割结果确定所述调制参数。
在一种可能的实现方式中，所述多个不同区域中至少二个不同区域对应的调制参数不同。
在一种可能的实现方式中，所述调制包括：仿射变换处理或指数变换处理。
在一种可能的实现方式中，所述调制模块30，包括：
尺度参数获取子模块33，用于将所述图像分割结果进行第一卷积处理得到尺度参数；
偏置参数获取子模块34，用于将所述图像分割结果进行第二卷积处理得到偏置参数；
仿射变换处理子模块35，用于利用所述尺度参数和所述偏置参数对所述卷积处理结果进行仿射变换处理，其中所述尺度参数用于调制所述卷积处理结果的尺度，所述偏置参数用于调制所述卷积处理结果的偏置。
在一种可能的实现方式中，所述仿射变换处理子模块35，包括：
第一仿射变换处理子模块，用于将所述卷积处理结果与所述尺度参数相乘后与所述偏置参数相加，或
第二仿射变换处理子模块，用于将所述卷积处理结果与所述偏置参数相加后与所述尺度参数相乘。
在一种可能的实现方式中，所述调制模块30，包括：
形状参数获取子模块36，用于将所述图像分割结果进行第三卷积处理得到形状参数；
位置参数获取子模块37，用于将所述图像分割结果进行第四卷积处理得到位置参数；
指数变换处理子模块38，用于利用所述形状参数和所述位置参数对所述卷积处理结果进行指数变换处理，其中所述形状参数用于调制所述卷积处理结果的形状，所述位置参数用于调制所述卷积处理结果的位置。
在一种可能的实现方式中，图像分割结果获取模块20，包括：
概率计算子模块21，用于根据多个不同的图像分割类别对所述图像的空间特征进行概率计算，得到所述图像分割结果。
在一种可能的实现方式中，所述图像分割类别根据以下一种或任意组合来确定：图像语义、图像深度或图像纹理颗粒度。
在一种可能的实现方式中，所述装置应用于神经网络，所述神经网络包括至少一卷积层和至少一空间特征调制层；
所述卷积层对输入的所述图像或其中间处理结果进行卷积处理，得到所述卷积处理结果；
所述空间特征调制层根据所述图像分割结果对输入的卷积处理结果进行调制。
在一种可能的实现方式中，所述神经网络包括多个所述特征调制层，所述装置还包括：
共享模块40，用于将所述图像分割结果输入到所述神经网络中的各个空间特征调制层。
在一种可能的实现方式中，所述装置还包括：
上采样模块50，用于将调制后的所述卷积处理结果进行上采样处理，得到所述图像的超分辨率图像。
在一种可能的实现方式中，所述装置还包括：
分类模块60，用于将调制后的所述卷积处理结果通过分类器进行处理，得到所述图像的分类结果。
在一种可能的实现方式中，所述装置还包括：
第一图像处理功能模块70，用于根据调制后的所述卷积处理结果对所述图像进行去噪、去模糊和/或图像风格转换。
图12是根据一示例性实施例示出的一种电子装置的框图。电子装置可以被提供为一终端、一服务器或其它形态的设备。参照图12，电子设备1900以服务器为例，包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述方法。
装置1900还可以包括一个电源组件1926被配置为执行装置1900的电源管理，一个有线或无线网络接口1950被配置为将装置1900连接到网络，和一个输入输出(I/O)接口1958。装置1900可以操作基于存储在存储器1932的操作系统，例如Windows ServerTM，MacOS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。
在示例性实施例中，还提供了一种计算机可读存储介质，可以为易失性的或非易失性，例如包括计算机程序指令的存储器1932，上述计算机程序指令可由装置1900的处理组件1922执行以完成上述方法。
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (32)
1.一种图像处理方法，其特征在于，包括：
获取基于待处理的图像或其中间处理结果的卷积处理结果；
获取表示将所述图像划分为多个不同区域的图像分割结果，所述图像分割结果包括所述图像的不同区域的特征；
根据所述图像分割结果对所述卷积处理结果进行调制。
2.根据权利要求1所述的方法，其特征在于，根据所述图像分割结果对所述卷积处理结果进行调制，包括：
基于所述图像分割结果确定调制参数；
根据所述调制参数对所述卷积处理结果进行调制。
3.根据权利要求2所述的方法，其特征在于，根据所述图像分割结果确定调制参数，包括：
对所述图像分割结果进行卷积处理；
基于卷积处理后的所述图像分割结果确定所述调制参数。
4.根据权利要求2或3所述的方法，其特征在于，所述多个不同区域中至少二个不同区域对应的调制参数不同。
5.根据权利要求1-3任一所述的方法，其特征在于，所述调制包括：仿射变换处理或指数变换处理。
6.根据权利要求1-3任一所述的方法，其特征在于，根据所述图像分割结果对所述卷积处理结果进行调制，包括：
将所述图像分割结果进行第一卷积处理得到尺度参数；
将所述图像分割结果进行第二卷积处理得到偏置参数；
利用所述尺度参数和所述偏置参数对所述卷积处理结果进行仿射变换处理，其中所述尺度参数用于调制所述卷积处理结果的尺度，所述偏置参数用于调制所述卷积处理结果的偏置。
7.根据权利要求6所述的方法，其特征在于，利用所述尺度参数和所述偏置参数对所述卷积处理结果进行仿射变换处理，包括：
将所述卷积处理结果与所述尺度参数相乘后与所述偏置参数相加，或
将所述卷积处理结果与所述偏置参数相加后与所述尺度参数相乘。
8.根据权利要求1-3任一所述的方法，其特征在于，根据所述图像分割结果对所述卷积处理结果进行调制，包括：
将所述图像分割结果进行第三卷积处理得到形状参数；
将所述图像分割结果进行第四卷积处理得到位置参数；
利用所述形状参数和所述位置参数对所述卷积处理结果进行指数变换处理，其中所述形状参数用于调制所述卷积处理结果的形状，所述位置参数用于调制所述卷积处理结果的位置。
9.根据权利要求1-3任一所述的方法，其特征在于，获取表示将所述图像划分为多个不同区域的图像分割结果，包括：
根据多个不同的图像分割类别对所述图像的空间特征进行概率计算，得到所述图像分割结果。
10.根据权利要求9所述的方法，其特征在于，所述图像分割类别根据以下一种或任意组合来确定：图像语义、图像深度或图像纹理颗粒度。
11.根据权利要求1-3任一所述的方法，其特征在于，所述方法应用于神经网络，所述神经网络包括至少一卷积层和至少一空间特征调制层；
所述卷积层对输入的所述图像或其中间处理结果进行卷积处理，得到所述卷积处理结果；
所述空间特征调制层根据所述图像分割结果对输入的卷积处理结果进行调制。
12.根据权利要求11所述的方法，其特征在于，所述神经网络包括多个所述空间特征调制层，所述方法还包括：
将所述图像分割结果输入到所述神经网络中的各个空间特征调制层。
13.根据权利要求1-3任一所述的方法，其特征在于，所述方法还包括：
将调制后的所述卷积处理结果进行上采样处理，得到所述图像的超分辨率图像。
14.根据权利要求1-3任一所述的方法，其特征在于，所述方法还包括：
将调制后的所述卷积处理结果通过分类器进行处理，得到所述图像的分类结果。
15.根据权利要求1-3任一所述的方法，其特征在于，所述方法还包括：
根据调制后的所述卷积处理结果对所述图像进行去噪、去模糊和/或图像风格转换。
16.一种图像处理装置，其特征在于，包括：
卷积处理结果获取模块，用于获取基于待处理的图像或其中间处理结果的卷积处理结果；
图像分割结果获取模块，用于获取表示将所述图像划分为多个不同区域的图像分割结果，所述图像分割结果包括所述图像的不同区域的特征；
调制模块，用于根据所述图像分割结果对所述卷积处理结果进行调制。
17.根据权利要求16所述的装置，其特征在于，所述调制模块，包括：
调制参数确定子模块，用于基于所述图像分割结果确定调制参数；
调制子模块，用于根据所述调制参数对所述卷积处理结果进行调制。
18.根据权利要求17所述的装置，其特征在于，所述调制参数确定子模块，包括：
卷积处理子模块，用于对所述图像分割结果进行卷积处理；
第一参数确定子模块，用于基于卷积处理后的所述图像分割结果确定所述调制参数。
19.根据权利要求17或18所述的装置，其特征在于，所述多个不同区域中至少二个不同区域对应的调制参数不同。
20.根据权利要求16-18任一所述的装置，其特征在于，所述调制包括：仿射变换处理或指数变换处理。
21.根据权利要求16-18任一所述的装置，其特征在于，所述调制模块，包括：
尺度参数获取子模块，用于将所述图像分割结果进行第一卷积处理得到尺度参数；
偏置参数获取子模块，用于将所述图像分割结果进行第二卷积处理得到偏置参数；
仿射变换处理子模块，用于利用所述尺度参数和所述偏置参数对所述卷积处理结果进行仿射变换处理，其中所述尺度参数用于调制所述卷积处理结果的尺度，所述偏置参数用于调制所述卷积处理结果的偏置。
22.根据权利要求21所述的装置，其特征在于，所述仿射变换处理子模块，包括：
第一仿射变换处理子模块，用于将所述卷积处理结果与所述尺度参数相乘后与所述偏置参数相加，或
第二仿射变换处理子模块，用于将所述卷积处理结果与所述偏置参数相加后与所述尺度参数相乘。
23.根据权利要求16-18任一所述的装置，其特征在于，所述调制模块，包括：
形状参数获取子模块，用于将所述图像分割结果进行第三卷积处理得到形状参数；
位置参数获取子模块，用于将所述图像分割结果进行第四卷积处理得到位置参数；
指数变换处理子模块，用于利用所述形状参数和所述位置参数对所述卷积处理结果进行指数变换处理，其中所述形状参数用于调制所述卷积处理结果的形状，所述位置参数用于调制所述卷积处理结果的位置。
24.根据权利要求16-18任一所述的装置，其特征在于，图像分割结果获取模块，包括：
概率计算子模块，用于根据多个不同的图像分割类别对所述图像的空间特征进行概率计算，得到所述图像分割结果。
25.根据权利要求24所述的装置，其特征在于，所述图像分割类别根据以下一种或任意组合来确定：图像语义、图像深度或图像纹理颗粒度。
26.根据权利要求16-18任一所述的装置，其特征在于，所述装置应用于神经网络，所述神经网络包括至少一卷积层和至少一空间特征调制层；
所述卷积层对输入的所述图像或其中间处理结果进行卷积处理，得到所述卷积处理结果；
所述空间特征调制层根据所述图像分割结果对输入的卷积处理结果进行调制。
27.根据权利要求26所述的装置，其特征在于，所述神经网络包括多个所述空间特征调制层，所述装置还包括：
共享模块，用于将所述图像分割结果输入到所述神经网络中的各个空间特征调制层。
28.根据权利要求16-18任一所述的装置，其特征在于，所述装置还包括：
上采样模块，用于将调制后的所述卷积处理结果进行上采样处理，得到所述图像的超分辨率图像。
29.根据权利要求16-18任一所述的装置，其特征在于，所述装置还包括：
分类模块，用于将调制后的所述卷积处理结果通过分类器进行处理，得到所述图像的分类结果。
30.根据权利要求16-18任一所述的装置，其特征在于，所述装置还包括：
第一图像处理功能模块，用于根据调制后的所述卷积处理结果对所述图像进行去噪、去模糊和/或图像风格转换。
31.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：执行权利要求1至15中任意一项所述的方法。
32.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至15中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810168388.4A CN108335306B (zh) | 2018-02-28 | 2018-02-28 | 图像处理方法及装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810168388.4A CN108335306B (zh) | 2018-02-28 | 2018-02-28 | 图像处理方法及装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108335306A CN108335306A (zh) | 2018-07-27 |
| CN108335306B true CN108335306B (zh) | 2021-05-18 |
Family
ID=62930100
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810168388.4A Active CN108335306B (zh) | 2018-02-28 | 2018-02-28 | 图像处理方法及装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108335306B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109461162B (zh) * | 2018-12-03 | 2020-05-12 | 中国科学技术大学 | 图像中目标分割的方法 |
| US10373026B1 (en) * | 2019-01-28 | 2019-08-06 | StradVision, Inc. | Learning method and learning device for generation of virtual feature maps whose characteristics are same as or similar to those of real feature maps by using GAN capable of being applied to domain adaptation to be used in virtual driving environments |
| CN109872288B (zh) * | 2019-01-31 | 2023-05-23 | 深圳大学 | 用于图像去噪的网络训练方法、装置、终端及存储介质 |
| CN109948700B (zh) * | 2019-03-19 | 2020-07-24 | 北京字节跳动网络技术有限公司 | 用于生成特征图的方法和装置 |
| CN109949387B (zh) * | 2019-03-22 | 2023-07-07 | 南京邮电大学 | 一种基于深度学习的风景图像后期制作方法 |
| CN110047054A (zh) * | 2019-04-26 | 2019-07-23 | 东北大学 | 一种基于vgg-19提取特征的gan医学图像降噪方法 |
| CN110136062B (zh) * | 2019-05-10 | 2020-11-03 | 武汉大学 | 一种联合语义分割的超分辨率重建方法 |
| CN110287848A (zh) * | 2019-06-19 | 2019-09-27 | 北京卡路里信息技术有限公司 | 视频的生成方法及装置 |
| CN110363171A (zh) * | 2019-07-22 | 2019-10-22 | 北京百度网讯科技有限公司 | 天空区域预测模型的训练方法和识别天空区域的方法 |
| CN113538227B (zh) * | 2020-04-20 | 2024-04-12 | 华为技术有限公司 | 一种基于语义分割的图像处理方法及相关设备 |
| CN111598799A (zh) * | 2020-04-30 | 2020-08-28 | 中国科学院深圳先进技术研究院 | 图像调色增强方法和图像调色增强神经网络训练方法 |
| CN111861940A (zh) * | 2020-07-31 | 2020-10-30 | 中国科学院深圳先进技术研究院 | 一种基于条件连续调节的图像调色增强方法 |
| CN113689373B (zh) * | 2021-10-21 | 2022-02-11 | 深圳市慧鲤科技有限公司 | 图像处理方法、装置、设备及计算机可读存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0851579A2 (en) * | 1996-12-16 | 1998-07-01 | Texas Instruments Incorporated | A digital filter |
| CN103679193A (zh) * | 2013-11-12 | 2014-03-26 | 华南理工大学 | 一种基于freak的高速高密度封装元器件快速定位方法 |
| CN104268538A (zh) * | 2014-10-13 | 2015-01-07 | 江南大学 | 一种易拉罐点阵喷码字符在线视觉检测方法 |
-
2018
- 2018-02-28 CN CN201810168388.4A patent/CN108335306B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0851579A2 (en) * | 1996-12-16 | 1998-07-01 | Texas Instruments Incorporated | A digital filter |
| CN103679193A (zh) * | 2013-11-12 | 2014-03-26 | 华南理工大学 | 一种基于freak的高速高密度封装元器件快速定位方法 |
| CN104268538A (zh) * | 2014-10-13 | 2015-01-07 | 江南大学 | 一种易拉罐点阵喷码字符在线视觉检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108335306A (zh) | 2018-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108335306B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| Fu et al. | Uncertainty inspired underwater image enhancement | |
| CN113066017B (zh) | 一种图像增强方法、模型训练方法及设备 | |
| US9697583B2 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
| CN110717953B (zh) | 基于cnn-lstm组合模型的黑白图片的着色方法和系统 | |
| US20130071028A1 (en) | System and Method for Estimating Spatially Varying Defocus Blur in a Digital Image | |
| CN110717919A (zh) | 图像处理方法、装置、介质和计算设备 | |
| WO2008039693A2 (en) | Improving image masks | |
| Shin et al. | Region-based dehazing via dual-supervised triple-convolutional network | |
| Parihar et al. | Fusion‐based simultaneous estimation of reflectance and illumination for low‐light image enhancement | |
| US11961203B2 (en) | Image processing device and operation method therefor | |
| US11288798B2 (en) | Recognizing pathological images captured by alternate image capturing devices | |
| Vazquez-Corral et al. | A fast image dehazing method that does not introduce color artifacts | |
| US20210319541A1 (en) | Model-free physics-based reconstruction of images acquired in scattering media | |
| CN113989174B (zh) | 图像融合方法和图像融合模型的训练方法、装置 | |
| Zhang et al. | Single image dehazing based on bright channel prior model and saliency analysis strategy | |
| CN114187515A (zh) | 图像分割方法和图像分割装置 | |
| Kumar et al. | Dynamic stochastic resonance and image fusion based model for quality enhancement of dark and hazy images | |
| CN113538304A (zh) | 图像增强模型的训练方法及装置、图像增强方法及装置 | |
| CN111861940A (zh) | 一种基于条件连续调节的图像调色增强方法 | |
| CN113724282A (zh) | 图像处理方法和相关产品 | |
| CN116363429A (zh) | 图像识别模型的训练方法、图像识别方法、装置及设备 | |
| CN115375909A (zh) | 一种图像处理方法及装置 | |
| CN113066030B (zh) | 一种基于空谱融合网络的多光谱图像全色锐化方法及系统 | |
| US11200708B1 (en) | Real-time color vector preview generation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |