CN111598796A - 图像处理方法及装置、电子设备、存储介质 - Google Patents
图像处理方法及装置、电子设备、存储介质 Download PDFInfo
- Publication number
- CN111598796A CN111598796A CN202010345219.0A CN202010345219A CN111598796A CN 111598796 A CN111598796 A CN 111598796A CN 202010345219 A CN202010345219 A CN 202010345219A CN 111598796 A CN111598796 A CN 111598796A
- Authority
- CN
- China
- Prior art keywords
- image
- processed
- block
- processing
- blocks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 141
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000000638 solvent extraction Methods 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 22
- 230000000903 blocking effect Effects 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 9
- 238000007499 fusion processing Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 12
- 238000013527 convolutional neural network Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000004927 fusion Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本公开提供一种图像处理方法及装置、电子设备、存储介质，涉及图像处理技术领域。所述方法包括：获取待处理图像，对待处理图像进行分块，得到多个待处理图像块；针对每个待处理图像块，确定该待处理图像块对应的目标图像类别；基于目标图像类别对应的图像处理模型，对该待处理图像块进行处理，得到该待处理图像块对应的处理后的图像块；根据得到的多个处理后的图像块，确定输出图像。本公开可以提高输出图像的质量，降低运算复杂度。
Description
技术领域
本公开涉及图像处理技术领域，具体而言，涉及一种图像处理方法、图像处理装置、电子设备以及计算机可读存储介质。
背景技术
目前，神经网络越来越多地应用于各个领域。例如，可以通过卷积神经网络对图像进行处理，具体可以通过训练得到的卷积核来实现特征的提取和对应的处理。但是，该方法造成网络的复杂度过高，收敛难度较大，最终导致训练得到的模型的运算复杂度较高，并且输出的图像质量较低。
发明内容
本公开的目的在于提供一种图像处理方法、图像处理装置、电子设备以及计算机可读存储介质，进而在一定程度上克服由于相关技术的限制和缺陷而导致的，在进行图像处理时运算复杂度较高，输出图像质量较低的问题。
根据本公开的第一方面，提供一种图像处理方法，包括：
获取待处理图像，对所述待处理图像进行分块，得到多个待处理图像块；
针对每个待处理图像块，确定该待处理图像块对应的目标图像类别；
基于所述目标图像类别对应的图像处理模型，对该待处理图像块进行处理，得到该待处理图像块对应的处理后的图像块；
根据得到的多个处理后的图像块，确定输出图像。
根据本公开的第二方面，提供一种图像处理装置，包括：
图像分块模块，用于获取待处理图像，对所述待处理图像进行分块，得到多个待处理图像块；
图像类别确定模块，用于针对每个待处理图像块，确定该待处理图像块对应的目标图像类别；
图像块处理模块，用于基于所述目标图像类别对应的图像处理模型，对该待处理图像块进行处理，得到该待处理图像块对应的处理后的图像块；
输出图像确定模块，用于根据得到的多个处理后的图像块，确定输出图像。
根据本公开的第三方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述图像处理方法。
根据本公开的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述图像处理方法。
本公开示例性实施例可以具有以下部分或全部有益效果：
在本公开的一示例实施方式所提供的图像处理方法中，针对待处理图像中不同区域的图像块，选取不同的图像处理模型进行图像处理。一方面，可以利用不同图像处理模型各自的优点，不仅解决了单一网络模型算法的稳定性差的问题，而且还降低了运算复杂度。另一方面，针对不同区域的图像块进行不同的处理，可以提高图像块的输出质量，最终提高输出图像的质量。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本公开实施例中电子设备的结构示意图；
图2示出了一种用于实现图像处理方法的计算机可读存储介质；
图3示出了本公开实施例中图像处理方法的一种流程图；
图4示出了图像块划分的一种示意图；
图5示出了本公开实施例中图像处理的一种示意图；
图6示出了本公开实施例中图像处理模型对应的权重的确定方法的一种流程图；
图7示出了本公开实施例中图像处理装置的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
图1示出了本公开实施例中电子设备的结构示意图。需要说明的是，图1示出的电子设备100仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图1所示，电子设备100包括中央处理器101，其可以根据存储在只读存储器102中的程序或者从存储部分108加载到随机访问存储器103中的程序而执行各种适当的动作和处理。在随机访问存储器103中，还存储有系统操作所需的各种程序和数据。中央处理器101、只读存储器102以及随机访问存储器103通过总线104彼此相连。输入/输出接口105也连接至总线104。
以下部件连接至输入/输出接口105：包括键盘、鼠标等的输入部分106；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分107；包括硬盘等的存储部分108；以及包括诸如局域网卡、调制解调器等的网络接口卡的通信部分109。通信部分109经由诸如因特网的网络执行通信处理。驱动器110也根据需要连接至输入/输出接口105。可拆卸介质111，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器110上，以便于从其上读出的计算机程序根据需要被安装入存储部分108。
特别地，根据本公开的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分109从网络上被下载和安装，和/或从可拆卸介质111被安装。在该计算机程序被中央处理器101执行时，执行本申请的方法和装置中限定的各种功能。
需要说明的是，本公开所示的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器、只读存储器、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读存储介质，该计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、射频等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。参考图2所示，上述计算机可读存储介质承载有一个或者多个计算机程序200，当上述一个或者多个计算机程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。例如，所述的电子设备可以实现如图3所示的各个步骤等。
以下对本公开实施例的技术方案进行详细阐述：
在图像处理技术中，可以通过神经网络对图像进行去噪处理、去模糊处理或超分辨率处理等过程，以得到质量较好的图像。例如，对于卷积神经网络，可以通过卷积层、激活函数层、池化层和全连接层等特征层的堆砌连接，对输入图像进行对应的处理。该类型的卷积神经网络，在训练时，根据事先准备好的训练数据集进行训练，通过损失函数，采用反向传播算法逐渐收敛所有的参数值，最终形成固定参数值的卷积神经网络。在实际使用时，将图像直接输入该训练好的网络进行运算，得到最终的输出。但是该方法过分的依赖卷积神经网络自身的性能和训练的方法，不仅可能造成网络的复杂度过高，而且收敛难度较大，导致最终的卷积神经网络模型运算性能和输出图像质量较低。
为了解决上述问题，本公开提供了一种图像处理方法、图像处理装置、电子设备以及计算机可读存储介质，可以在进行图像处理处理时，提高输出图像的质量，并降低运算复杂度，提高运算性能。
参见图3，图3示出了本公开实施例中图像处理方法的一种流程图，可以包括以下步骤：
步骤S310，获取待处理图像，对待处理图像进行分块，得到多个待处理图像块。
步骤S320，针对每个待处理图像块，确定该待处理图像块对应的目标图像类别。
步骤S330，基于目标图像类别对应的图像处理模型，对该待处理图像块进行处理，得到该待处理图像块对应的处理后的图像块。
步骤S340，根据得到的多个处理后的图像块，确定输出图像。
本公开实施例的图像处理方法中，针对待处理图像中不同区域的图像块，选取不同的图像处理模型进行图像处理。一方面，可以利用不同图像处理模型各自的优点，不仅解决了单一网络模型算法的稳定性差的问题，而且还降低了运算复杂度。另一方面，针对不同区域的图像块进行不同的处理，可以提高图像块的输出质量，最终提高输出图像的质量。
本公开实施例的图像处理方法可以适用于图像增强和分辨率缩放等，其中，图像增强包括锐化、平滑、去噪、去模糊、去雾、修复等操作中的一个或多个；分辨率缩放为对原始图像进行分辨率的放大或缩小，缩放的比例为输出需要的比例。以下对本公开实施例的图像处理方法进行更加详细的阐述。
在步骤S310中，获取待处理图像，对待处理图像进行分块，得到多个待处理图像块。
需要说明的是，对于任一图像，该图像中不同位置的特征可能不同。为了对具有不同特征的图像进行不同的处理，可以对待处理图像进行分块，以图像块为单位进行处理。
在本公开的一种实现方式中，可以设置图像块的大小和遍历顺序，按照预设图像块大小对待处理图像进行分块，在边界处图像块的大小小于预设图像块大小时，对边界处图像块进行扩充，使扩充后的图像块的大小等于预设图像块大小。其中，预设图像块大小包括：预设长度和预设宽度，例如，预设图像块大小为8x8、4x4等，本公开对预设图像块大小不做限定。
具体的，若边界处图像块的水平方向小于预设长度，则可以以边界处图像块中水平方向最后位置的像素进行扩充，扩充的方式可以为对称扩充，或者其它形式。参见图4，图4示出了图像块划分的一种示意图，对于待处理图像，可以划分得到多个待处理图像块。右侧虚线框是针对左侧虚线框的放大显示，该图像块中超出待处理图像右侧边界线的部分是扩充的图像块。图4中的“A”、“B”、“C”、“D”等符号可以表示对应像素的像素值，可以看出，该图像块的扩充方式是对称扩充。同样地，若边界处图像块的竖直方向小于预设宽度，则可以以边界处图像块中竖直方向最后位置的像素进行扩充。
在步骤S320中，针对每个待处理图像块，确定该待处理图像块对应的目标图像类别。
本公开实施例中，可以以多种不同的维度对图像进行划分，得到多种图像类别。例如，可以按照图像纹理复杂度从平坦到复杂划分为多个不同等级；或者，可以按照图像纹理主方向，从0度到360度划分为不同等级；还可以按照图像纹理类型(比如自然纹理和人造纹理)进行划分，也可以对图像纹理类型进行更细节的划分，例如，自然纹理包括：树叶纹理、衣服纹理等，人造纹理包括游戏界面、摩尔纹等。当然，图像类别的划分维度不限于此。
在本公开的一种实现方式中，可以通过图像类别识别模型，确定该待处理图像块对应的目标图像类别。图像类别识别模型的训练方法可以包括以下步骤：
首先，获取多个训练数据，每个训练数据包括：图像和该图像对应的图像类别，图像类别可以是按照上述多种不同的维度进行划分得到的。例如，可以把图像按照纹理复杂度分为简单、中等和复杂三个等级，训练数据中每个图像的类别分别对应简单、中等和复杂中的一个。
之后，根据多个图像和多个图像类别的映射关系进行神经网络训练，得到图像类别识别模型。图像类别识别模型的网络结构可以是卷积神经网络等，在此不做限定。例如，图像类别识别模型的网络结构可以是VGG(Visual Geometry Group)网络等。
图像类别识别模型可以对输入的图像数据进行多种图像类别的分类，输出该图像数据属于不同图像类别的概率，并根据各个概率值确定图像数据所属的图像类别。例如，中等纹理复杂度对应的概率值最大，那么，输入的图像数据的图像类别即为中等纹理复杂度。当然，本公开也可以通过传统算法(例如，基于梯度的纹理复杂度判别等不依赖训练的方法等)确定该待处理图像块对应的目标图像类别。
在步骤S330中，基于目标图像类别对应的图像处理模型，对该待处理图像块进行处理，得到该待处理图像块对应的处理后的图像块。
本公开实施例中，可以根据图像处理需求，建立图像类别与图像处理模型的映射关系。每个图像类别可以对应一个或多个图像处理模型，各个图像处理模型可以是预先建立的模型，不同的图像处理模型的网络结构可以各不相同，也可以相同，相互之间可以并行工作。
其中，各个图像处理模型可以根据重建图像块的图像质量进行区分，还可以根据重建图像块的图像质量的稳定性进行区分；还根据运算复杂度进行区分；还根据算法所处场景或规格，引出的对图像质量和运算复杂度的需求进行区分，本公开不限于此。
对于不同图像类别，其对应的图像处理模型的维度可以相同，也可以不同。举例而言，中等纹理复杂度可以对应三个图像处理模型，该三个图像处理模型的运算复杂度不同。简单纹理复杂度可以对应两个图像处理模型，对于同一输入图像，该两个图像处理模型输出的图像质量不同。可以看出，中等纹理复杂度对应的图像处理模型的维度，和简单纹理复杂度对应的图像处理模型的维度不同。
在目标图像类别对应的图像处理模型为一个时，可以直接通过该图像处理模型对待处理图像块进行处理，得到处理后的图像块。
在目标图像类别对应的图像处理模型为多个时，可以通过每个图像处理模型分别对该待处理图像块进行处理，得到多个待融合图像块。之后，对多个待融合图像块进行融合处理，并将得到的融合后的图像块作为该待处理图像块对应的处理后的图像块。
在进行融合处理时，可以根据目标图像类别对应的各个图像处理模型的权重，将多个待融合图像块中相同位置的像素值进行加权平均，得到加权平均值，并将加权平均值作为融合后的图像块中相同位置的像素值。具体可以参考以下公式进行计算：
Pi表示融合处理后的图像块中第i个位置的像素值，
表示第k个图像处理模型处理后得到的图像块中第i个位置的像素值；wk表示第k个图像处理模型的权重，k为1～N的整数，N为目标图像类别对应的图像处理模型的数量。
参见图5，图5示出了本公开实施例中图像处理的一种示意图，图像类别识别模型在确定任一图像块对应的图像类别后，将该图像块输入该图像块对应的图像类别对应的图像处理模型中，图像处理模型在处理之后，通过融合模块进行图像融合处理，最终得到输出图像。在此基础上，各个图像处理模型对应的权重的确定方法可以参见图6，包括以下步骤：
步骤S610，获取多个图像类别各自对应的图像处理模型，多个图像类别包括目标图像类别。
如前所述，可以根据图像处理需求，确定各个图像类别对应的图像处理模型。图像处理需求不同，该映射关系可以不同。
例如，上述三种纹理复杂度中的每一种均可以对应三个运算复杂度不同的图像处理模型，对应设置运算复杂度最低的FSRCNN(基于卷积神经网络的加速图像超分辨率重建)方法，运算复杂度中等的SRCNN(基于卷积神经网络的图像超分辨率重建)方法和运算复杂度最高的EDVR(基于变卷积神经网络的视频重建)方法。这样，可以形成9个图像处理模型。
步骤S620，获取多个样本数据，每个样本数据包括：对应图像类别为多个图像类别之一的图像块，以及该图像块对应的增强图像块。
需要说明的是，样本数据中图像块的类别可以是步骤S610中的图像类别，图像块对应的增强图像块可以与图像处理的目的保持一致。假设要对待处理图像进行去噪，那么，增强图像块即为该图像块对应的去噪之后的图像块。假设要对待处理图像进行超分辨率处理，增强图像块即为该图像块对应的超分辨率处理之后的图像块。
步骤S630，根据多个图像块和多个增强图像块的映射关系，对整体模型进行神经网络训练，确定多个图像处理模型的权重。
本公开实施例中，根据多个图像块和多个增强图像块的映射关系，对整体模型进行神经网络训练，其中，整体模型包括：图像类别识别模型和多个图像处理模型，整体模型还可以包括融合模块。最终可以得到每个图像处理模型的权重，例如，可以确定上述9个图像处理模型的权重。在训练过程中，图像类别识别模型内部的网络参数值和各个图像处理模型内部的网络参数值可以是固定的。
需要说明的是，在图像处理需求发生变化的情况下，步骤S610中所获取的图像处理模型的数量或者种类可能发生变化，此时，可以获取新的样本数据，通过新的样本数据重新训练得到各个图像处理模型的权重。
在上述实施例中，可以直接通过目标图像类别对应的图像处理模型对待处理图像块进行处理。在另一种场景下，用户还可以在目标图像类别对应的图像处理模型中选择更符合实际输出需求的图像处理模型。在本公开的一种实现方式中，目标图像类别对应的多个图像处理模型对应不同的输出需求等级。输出需求等级可以包括：运算复杂度维度的多个等级、输出图像质量维度的多个等级等，输出需求等级可以与前述的图像的划分维度保持一致。
那么，在通过图像处理模型对待处理图像块进行处理时，可以先获取图像输出需求等级。假设运算复杂度包括：简单、中等、复杂三个等级，图像输出需求等级可以是运算复杂度简单。之后从目标图像类别对应的多个图像处理模型中选取满足图像输出需求等级的目标图像处理模型。例如，选取运算复杂度简单的图像处理模型作为目标图像处理模型，并通过目标图像处理模型对该待处理图像块进行处理。当然，在目标图像处理模型的数量为多个时，与上述方法类似，可以进行融合处理之后，得到处理后的图像块。
在步骤S340中，根据得到的多个处理后的图像块，确定输出图像。
具体的，可以直接将多个处理后的图像块进行拼接，得到输出图像。本公开实施例中，在得到输出图像之后，还可以进行多次迭代，迭代的方式包括：
1)基于图像块的流水式迭代：以固有的图像块遍历顺序，当处理完成一定数量的图像块后，重新对该一定数量的图像块进行再次处理。同理，进行多次的迭代后，完成整图像的处理。
2)基于图像的迭代：将输出图像作为待处理图像，返回步骤S310中对待处理图像进行分块，得到多个待处理图像块的步骤，直至最终得到的输出图像的质量大于质量阈值。其中，每次迭代的图像块大小可以不同。例如，第一次迭代时预设图像块大小为8x8，第二次迭代时预设图像块大小可以为32x32。
3)上述两种方式的组合式迭代方式等。
实验表明，通常在迭代两次或三次时，可以得到质量较好的输出图像。其中，质量阈值可以根据清晰度、噪声等参数进行确定。
本公开实施例的图像处理方法，可以根据待处理图像中不同区域的图像特征和图像输出需求，选取不同的图像处理模型进行处理并融合。可以充分利用不同图像处理模型的优点，一方面，可以提高提高输出图像的质量。另一方面，可以解决单一卷积神经网络算法稳定性差的问题，而且还可以降低运算复杂度。再一方面，本公开可以根据不同的图像处理需求进行多样化的拓展。
应当注意，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
进一步的，本示例实施方式中，还提供了一种图像处理装置700，如图7所示，包括：
图像分块模块710，用于获取待处理图像，对待处理图像进行分块，得到多个待处理图像块；
图像类别确定模块720，用于针对每个待处理图像块，确定该待处理图像块对应的目标图像类别；
图像块处理模块730，用于基于目标图像类别对应的图像处理模型，对该待处理图像块进行处理，得到该待处理图像块对应的处理后的图像块；
输出图像确定模块740，用于根据得到的多个处理后的图像块，确定输出图像。
在本公开的一种示例性实施例中，图像块处理模块，具体用于在目标图像类别对应的图像处理模型为多个时，通过每个图像处理模型分别对该待处理图像块进行处理，得到多个待融合图像块；对多个待融合图像块进行融合处理，并将得到的融合后的图像块作为该待处理图像块对应的处理后的图像块。
在本公开的一种示例性实施例中，融合单元具体用于根据目标图像类别对应的各个图像处理模型的权重，将多个待融合图像块中相同位置的像素值进行加权平均，得到加权平均值；将加权平均值作为融合后的图像块中相同位置的像素值。
在本公开的一种示例性实施例中，目标图像类别对应的多个图像处理模型对应不同的输出需求等级；
图像块处理模块，包括：
需求等级获取单元，用于获取图像输出需求等级；
图像处理模型选取单元，用于从目标图像类别对应的多个图像处理模型中选取满足图像输出需求等级的目标图像处理模型；
目标模型处理单元，用于通过目标图像处理模型对该待处理图像块进行处理。
在本公开的一种示例性实施例中，图像分块模块具体用于按照预设图像块大小对待处理图像块进行分块，在边界处图像块的大小小于预设图像块大小时，对边界处图像块进行扩充，使扩充后的图像块的大小等于预设图像块大小。
在本公开的一种示例性实施例中，图像类别确定模块，具体用于通过图像类别识别模型，确定该待处理图像块对应的目标图像类别。
在本公开的一种示例性实施例中，本公开实施例的图像处理装置还包括：
训练数据获取模块，用于获取多个训练数据，每个训练数据包括：图像和该图像对应的图像类别；
图像类别识别模型确定模块，用于根据多个图像和多个图像类别的映射关系进行神经网络训练，得到图像类别识别模型。
在本公开的一种示例性实施例中，本公开实施例的图像处理装置还包括：
图像处理模型获取模块，用于获取多个图像类别各自对应的图像处理模型，多个图像类别包括目标图像类别；
样本数据获取模块，用于获取多个样本数据，每个样本数据包括：对应图像类别为多个图像类别之一的图像块，以及该图像块对应的增强图像块；
权重确定模块，用于根据多个图像块和多个增强图像块的映射关系，对整体模型进行神经网络训练，确定多个图像处理模型的权重，整体模型包括：图像类别识别模型和多个图像处理模型；
其中，图像类别识别模型用于在确定任一图像块对应的图像类别后，将该图像块输入该图像块对应的图像类别对应的图像处理模型中。
在本公开的一种示例性实施例中，本公开实施例的图像处理装置还包括：
循环模块，用于将输出图像作为待处理图像，以通过图像分块模块对待处理图像进行分块，得到多个待处理图像块，直至最终得到的输出图像的质量大于质量阈值。
上述装置中各模块或单元的具体细节已经在对应的方法中进行了详细的描述，因此此处不再赘述。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (12)
1.一种图像处理方法，其特征在于，包括：
获取待处理图像，对所述待处理图像进行分块，得到多个待处理图像块；
针对每个待处理图像块，确定该待处理图像块对应的目标图像类别；
基于所述目标图像类别对应的图像处理模型，对该待处理图像块进行处理，得到该待处理图像块对应的处理后的图像块；
根据得到的多个处理后的图像块，确定输出图像。
2.根据权利要求1所述的方法，其特征在于，所述基于所述目标图像类别对应的图像处理模型，对该待处理图像块进行处理，得到该待处理图像块对应的处理后的图像块，包括：
在所述目标图像类别对应的图像处理模型为多个时，通过每个图像处理模型分别对该待处理图像块进行处理，得到多个待融合图像块；
对所述多个待融合图像块进行融合处理，并将得到的融合后的图像块作为该待处理图像块对应的处理后的图像块。
3.根据权利要求2所述的方法，其特征在于，所述对所述多个待融合图像块进行融合处理，包括：
根据所述目标图像类别对应的各个图像处理模型的权重，将所述多个待融合图像块中相同位置的像素值进行加权平均，得到加权平均值；
将所述加权平均值作为融合后的图像块中相同位置的像素值。
4.根据权利要求2所述的方法，其特征在于，所述目标图像类别对应的多个图像处理模型对应不同的输出需求等级；
所述基于所述目标图像类别对应的图像处理模型，对该待处理图像块进行处理，包括：
获取图像输出需求等级；
从所述目标图像类别对应的多个图像处理模型中选取满足所述图像输出需求等级的目标图像处理模型；
通过所述目标图像处理模型对该待处理图像块进行处理。
5.根据权利要求1所述的方法，其特征在于，所述对所述待处理图像进行分块，包括：
按照预设图像块大小对所述待处理图像块进行分块，在边界处图像块的大小小于所述预设图像块大小时，对所述边界处图像块进行扩充，使扩充后的图像块的大小等于所述预设图像块大小。
6.根据权利要求1所述的方法，其特征在于，所述确定该待处理图像块对应的目标图像类别，包括：
通过图像类别识别模型，确定该待处理图像块对应的目标图像类别。
7.根据权利要求6所述的方法，其特征在于，在确定该待处理图像块的图像类别之前，所述方法还包括：
获取多个训练数据，每个训练数据包括：图像和该图像对应的图像类别；
根据多个图像和多个图像类别的映射关系进行神经网络训练，得到所述图像类别识别模型。
8.根据权利要求6所述的方法，其特征在于，在所述基于所述目标图像类别对应的图像处理模型，对该待处理图像块进行处理之前，所述方法还包括：
获取多个图像类别各自对应的图像处理模型，所述多个图像类别包括所述目标图像类别；
获取多个样本数据，每个样本数据包括：对应图像类别为所述多个图像类别之一的图像块，以及该图像块对应的增强图像块；
根据多个图像块和多个增强图像块的映射关系，对整体模型进行神经网络训练，确定多个图像处理模型的权重，所述整体模型包括：所述图像类别识别模型和所述多个图像处理模型；
其中，所述图像类别识别模型用于在确定任一图像块对应的图像类别后，将该图像块输入该图像块对应的图像类别对应的图像处理模型中。
9.根据权利要求1所述的方法，其特征在于，在确定输出图像之后，所述方法还包括：
将所述输出图像作为待处理图像，返回所述对所述待处理图像进行分块，得到多个待处理图像块的步骤，直至最终得到的输出图像的质量大于质量阈值。
10.一种图像处理装置，其特征在于，包括：
图像分块模块，用于获取待处理图像，对所述待处理图像进行分块，得到多个待处理图像块；
图像类别确定模块，用于针对每个待处理图像块，确定该待处理图像块对应的目标图像类别；
图像块处理模块，用于基于所述目标图像类别对应的图像处理模型，对该待处理图像块进行处理，得到该待处理图像块对应的处理后的图像块；
输出图像确定模块，用于根据得到的多个处理后的图像块，确定输出图像。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～9任一项所述的方法。
12.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1～9任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010345219.0A CN111598796B (zh) | 2020-04-27 | 2020-04-27 | 图像处理方法及装置、电子设备、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010345219.0A CN111598796B (zh) | 2020-04-27 | 2020-04-27 | 图像处理方法及装置、电子设备、存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111598796A true CN111598796A (zh) | 2020-08-28 |
| CN111598796B CN111598796B (zh) | 2023-09-05 |
Family
ID=72186776
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010345219.0A Active CN111598796B (zh) | 2020-04-27 | 2020-04-27 | 图像处理方法及装置、电子设备、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111598796B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112749525A (zh) * | 2020-12-28 | 2021-05-04 | 成都华大九天科技有限公司 | 半导体器件的仿真方法及装置、服务器和存储介质 |
| CN112907496A (zh) * | 2021-02-24 | 2021-06-04 | 嘉楠明芯(北京)科技有限公司 | 一种图像融合方法以及装置 |
| CN113018854A (zh) * | 2021-03-05 | 2021-06-25 | 南京雷鲨信息科技有限公司 | 针对游戏感兴趣目标的实时ai超分方法、系统及计算机可读存储介质 |
| WO2022047719A1 (zh) * | 2020-09-04 | 2022-03-10 | 华为技术有限公司 | 用于提高图像分辨率的方法、视频生成方法及相关装置 |
| WO2022160980A1 (zh) * | 2021-01-29 | 2022-08-04 | 中国科学院深圳先进技术研究院 | 一种超分辨率方法、装置、终端设备及存储介质 |
| WO2023151511A1 (zh) * | 2022-02-08 | 2023-08-17 | 维沃移动通信有限公司 | 模型训练方法、图像去摩尔纹方法、装置及电子设备 |
| CN118469889A (zh) * | 2023-12-12 | 2024-08-09 | 荣耀终端有限公司 | 图像处理方法和相关装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101815157A (zh) * | 2009-02-24 | 2010-08-25 | 虹软(杭州)科技有限公司 | 图像及视频的放大方法与相关的图像处理装置 |
| US20150161773A1 (en) * | 2012-05-09 | 2015-06-11 | Hitachi Kokusai Electric Inc. | Image processing device and image processing method |
| CN106548169A (zh) * | 2016-11-02 | 2017-03-29 | 重庆中科云丛科技有限公司 | 基于深度神经网络的模糊文字增强方法及装置 |
| WO2017219263A1 (zh) * | 2016-06-22 | 2017-12-28 | 中国科学院自动化研究所 | 基于双向递归卷积神经网络的图像超分辨率增强方法 |
| CN107967669A (zh) * | 2017-11-24 | 2018-04-27 | 腾讯科技（深圳）有限公司 | 图片处理的方法、装置、计算机设备及存储介质 |
| CN108717530A (zh) * | 2018-05-21 | 2018-10-30 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机可读存储介质和电子设备 |
| CN109660821A (zh) * | 2018-11-27 | 2019-04-19 | Oppo广东移动通信有限公司 | 视频处理方法、装置、电子设备及存储介质 |
| WO2019153604A1 (zh) * | 2018-02-06 | 2019-08-15 | 平安科技（深圳）有限公司 | 人机识别模型的建立装置、方法及计算机可读存储介质 |
| CN110136056A (zh) * | 2018-02-08 | 2019-08-16 | 华为技术有限公司 | 图像超分辨率重建的方法和装置 |
-
2020
- 2020-04-27 CN CN202010345219.0A patent/CN111598796B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101815157A (zh) * | 2009-02-24 | 2010-08-25 | 虹软(杭州)科技有限公司 | 图像及视频的放大方法与相关的图像处理装置 |
| US20150161773A1 (en) * | 2012-05-09 | 2015-06-11 | Hitachi Kokusai Electric Inc. | Image processing device and image processing method |
| WO2017219263A1 (zh) * | 2016-06-22 | 2017-12-28 | 中国科学院自动化研究所 | 基于双向递归卷积神经网络的图像超分辨率增强方法 |
| CN106548169A (zh) * | 2016-11-02 | 2017-03-29 | 重庆中科云丛科技有限公司 | 基于深度神经网络的模糊文字增强方法及装置 |
| CN107967669A (zh) * | 2017-11-24 | 2018-04-27 | 腾讯科技（深圳）有限公司 | 图片处理的方法、装置、计算机设备及存储介质 |
| WO2019153604A1 (zh) * | 2018-02-06 | 2019-08-15 | 平安科技（深圳）有限公司 | 人机识别模型的建立装置、方法及计算机可读存储介质 |
| CN110136056A (zh) * | 2018-02-08 | 2019-08-16 | 华为技术有限公司 | 图像超分辨率重建的方法和装置 |
| CN108717530A (zh) * | 2018-05-21 | 2018-10-30 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机可读存储介质和电子设备 |
| CN109660821A (zh) * | 2018-11-27 | 2019-04-19 | Oppo广东移动通信有限公司 | 视频处理方法、装置、电子设备及存储介质 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022047719A1 (zh) * | 2020-09-04 | 2022-03-10 | 华为技术有限公司 | 用于提高图像分辨率的方法、视频生成方法及相关装置 |
| CN112749525A (zh) * | 2020-12-28 | 2021-05-04 | 成都华大九天科技有限公司 | 半导体器件的仿真方法及装置、服务器和存储介质 |
| WO2022160980A1 (zh) * | 2021-01-29 | 2022-08-04 | 中国科学院深圳先进技术研究院 | 一种超分辨率方法、装置、终端设备及存储介质 |
| CN112907496A (zh) * | 2021-02-24 | 2021-06-04 | 嘉楠明芯(北京)科技有限公司 | 一种图像融合方法以及装置 |
| CN113018854A (zh) * | 2021-03-05 | 2021-06-25 | 南京雷鲨信息科技有限公司 | 针对游戏感兴趣目标的实时ai超分方法、系统及计算机可读存储介质 |
| WO2023151511A1 (zh) * | 2022-02-08 | 2023-08-17 | 维沃移动通信有限公司 | 模型训练方法、图像去摩尔纹方法、装置及电子设备 |
| CN118469889A (zh) * | 2023-12-12 | 2024-08-09 | 荣耀终端有限公司 | 图像处理方法和相关装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111598796B (zh) | 2023-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111598796B (zh) | 图像处理方法及装置、电子设备、存储介质 | |
| CN108986050B (zh) | 一种基于多分支卷积神经网络的图像和视频增强方法 | |
| CN110188760B (zh) | 一种图像处理模型训练方法、图像处理方法及电子设备 | |
| CN111488865B (zh) | 图像优化方法、装置、计算机存储介质以及电子设备 | |
| US8385630B2 (en) | System and method of processing stereo images | |
| US9196021B2 (en) | Video enhancement using related content | |
| CN111583138B (zh) | 视频增强方法及装置、电子设备、存储介质 | |
| CN104574342B (zh) | 视差深度图像的噪声识别方法和噪声识别装置 | |
| EP2866196A1 (en) | An apparatus, a method and a computer program for image segmentation | |
| CN108694719B (zh) | 图像输出方法和装置 | |
| US11403807B2 (en) | Learning hybrid (surface-based and volume-based) shape representation | |
| CN111951172A (zh) | 一种图像优化方法、装置、设备和存储介质 | |
| WO2013144418A1 (en) | Image segmentation | |
| CN114708374A (zh) | 虚拟形象生成方法、装置、电子设备和存储介质 | |
| CN114299573A (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| Jeong et al. | Fast stereo matching using constraints in discrete space | |
| CN114565953A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| Gong | EGGS: Edge Guided Gaussian Splatting for Radiance Fields | |
| CN112102216B (zh) | 自适应权重的全变差图像融合方法 | |
| CN115311152A (zh) | 图像处理方法、装置、电子设备以及存储介质 | |
| Xiao et al. | Single-image dehazing algorithm based on convolutional neural networks | |
| Ogawa et al. | POCS-based texture reconstruction method using clustering scheme by kernel PCA | |
| CN118172286B (zh) | 车牌图像去模糊方法、模型训练方法、装置、设备及介质 | |
| CN116051935B (zh) | 图像检测方法、深度学习模型的训练方法及装置 | |
| CN112862726B (zh) | 图像处理方法、装置及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |