CN111192215A - 图像处理方法、装置、设备和可读存储介质 - Google Patents
图像处理方法、装置、设备和可读存储介质 Download PDFInfo
- Publication number
- CN111192215A CN111192215A CN201911397199.5A CN201911397199A CN111192215A CN 111192215 A CN111192215 A CN 111192215A CN 201911397199 A CN201911397199 A CN 201911397199A CN 111192215 A CN111192215 A CN 111192215A
- Authority
- CN
- China
- Prior art keywords
- image
- features
- original image
- layer
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 101
- 238000005070 sampling Methods 0.000 claims description 82
- 238000000034 method Methods 0.000 claims description 28
- 230000015654 memory Effects 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 11
- 238000013135 deep learning Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种图像处理方法、装置、设备和可读存储介质，涉及深度学习技术领域。具体实现方案为：获取待处理图像，通过图像处理模型提取所述待处理图像的原始图像特征，提取所述原始图像特征的深度特征，以及对所述原始图像特征和所述深度特征进行合并，并对合并后的特征进行还原，得到清晰化处理后的图像。本实施例，通过图像处理模型提取所述待处理图像的原始图像特征，得到高精度的浅层特征；通过提取所述原始图像特征的深度特征，得到细节特征；通过对原始图像特征和所述深度特征进行合并，从而融合浅层特征和深度特征，有效去除马赛克、伪影和噪声，提高图像分辨率，能够尽量多地保留图像细节。
Description
技术领域
本申请涉及图像处理技术，尤其涉及深度学习技术领域。
背景技术
数字图像，又称数码图像或数位图像，是二维图像用有限数字数值像素的表示。数字图像在数字化和传输过程中常受到成像设备和外部环境噪声的干扰，而成为噪声图像。而且，图像在放大、缩小传输的过程中，图像模糊也成为一个普遍性问题。
对于图像的清晰化问题，目前研究较多的是基于深度学习的方法。比如，降噪卷积神经网络(Denoising Convolutional Neural Networks，DnCNN)为了解决网络层数加深导致的梯度弥散效应，并不对图像进行学习，而是以输出与噪声的l2范数为损失函数来训练网络。又比如，卷积盲去噪网络(Convolutional Blind Denoising Net，CBDNet)模型，其包括了一个噪声估计子网络和一个非盲去噪子网络，可以实现图像的盲去噪。
虽然上述方法能够一定程度上实现图像清晰化，但是在实际应用中，采用上述模型对图像进行清晰化后，效果不显著且细节丢失较多，而且不能提高图像各细部影纹及其边界的清晰程度。
发明内容
本申请实施例提供了一种图像处理方法、装置、设备和可读存储介质，以提高图像的清晰化效果，尽量多地保留图像细节，并提高图像各细部影纹及其边界的清晰程度。
第一方面，本申请实施例提供了一种图像处理方法，包括：
获取待处理图像；
通过图像处理模型提取所述待处理图像的原始图像特征，提取所述原始图像特征的深度特征，以及对所述原始图像特征和所述深度特征进行合并，并对合并后的特征进行还原，得到清晰化处理后的图像。
本申请实施例，通过图像处理模型提取所述待处理图像的原始图像特征，得到高精度的浅层特征；通过提取所述原始图像特征的深度特征，得到细节特征；通过对原始图像特征和所述深度特征进行合并，从而融合浅层特征和深度特征，有效去除马赛克、伪影和噪声，提高图像分辨率，能够尽量多地保留图像细节。
可选的，图像处理模型包括：残差网络；
所述通过图像处理模型提取所述原始图像特征的深度特征，包括：通过残差网络提取所述原始图像特征的深度特征。
上述申请中的一种可选实施方式，通过残差网络可以进一步增加网络深度，同时维持较高的准确率，在一定程度上提高模型的表达能力。
可选的，所述图像处理模型还包括：多层级的下采样层和多层级的上采样层；所述残差网络设置于所述下采样层和所述上采样层之间；
所述通过所述图像处理模型提取所述待处理图像的原始图像特征，包括：通过所述下采样层逐层提取所述待处理图像的原始图像特征，得到多层原始图像特征；
所述通过所述图像处理模型对所述原始图像特征和所述深度特征进行合并，并对合并后的特征进行还原，得到清晰化处理后的图像，包括：
通过所述上采样层逐层对对应层级的原始图像特征和所述深度特征进行合并，并对合并后的特征逐层进行还原，得到清晰化处理后的图像。
上述申请中的一种可选实施方式，图像处理模型通过下采样层逐渐展现待处理图像中的环境信息，通过残差网络在进一步增加网络深度的情况下，维持较高的准确率，在一定程度上提高模型的表达能力；接着，通过连接上采样层和下采样层，从而上采样层对下采样层输出的高精度特征和残差网络输出的深度特征进行上采样，能够结合底部和高层的信息，提供整个图像中上下文语义信息，有利于还原图像细节，并逐步还原图像精度。
可选的，下采样层包括依次连接的多个下采样模块，所述上采样层包括依次连接的多个上采样模块，多个所述下采样模块与多个所述上采样模块对称连接；
所述通过所述图像处理模型对所述原始图像特征和所述深度特征进行合并，并对合并后的特征进行还原，得到清晰化处理后的图像，包括：
通过起始上采样模块对末尾下采样模块输出的原始图像特征和所述残差网络输出的深度特征进行合并，并对合并后的图像特征进行上采样；
通过非起始上采样模块对其连接的下采样模块输出的原始图像特征和前一上采样模块输出的深度特征进行合并，并对合并后的图像特征进行上采样，得到清晰化处理后的图像。
上述申请中的一种可选实施方式，本实施例中的图像处理模型是端对端的对称结构，从而对图像进行逐步下采样和逐步上采样，以得到与待处理图像同样尺寸的清晰图像。对称连接实现了上下采样模块的逐层的特征融合，在特征融合过程中，特征图像的每个通道维度都包含了更多特征，使得后续的输出层可以更好地融合浅层特征与深层特征，进而更好地达到清晰化的目的。
可选的，在所述通过图像处理模型提取所述待处理图像的原始图像特征，提取所述原始图像特征的深度特征，以及对所述原始图像特征和所述深度特征进行合并，并对合并后的特征进行还原，得到清晰化处理后的图像之前，还包括：
获取多张原图像和对每张原图像施加噪声和/或模糊化的样本图像；
采用所述多张原图像和多张样本图像，对所述图像处理模型进行训练。
上述申请中的一种可选实施方式，通过采用多张原图像和样本图像对图像处理模型进行训练，以通过该模型对图像进行清晰化处理。当施加的噪声为复杂噪声，而非符合某种分布的噪声时，该模型仍能表现出优异的去噪能力，实现图像的盲去噪；而且，该模型通过采用模糊化的图像样本，使得训练出的模块能去除图像中的马赛克、伪影并提高图像分辨率。
可选的，对每张原图像施加噪声和模糊化，包括：依次对每张原图像进行放大、施加噪声并缩小到该原图像的尺寸；或者，依次对每张原图像进行缩小、施加噪声并放大到该原图像的尺寸。
上述申请中的一种可选实施方式，不仅能够改变噪声的分布，同时也能够模仿图像模糊的情况，例如降低分辨率，带入马赛克和伪影等。这样每一张图像的清晰度以及噪声都是不同的，近似于日常得到的图像。这样的图像处理方式对于训练数据的获取，以及得到好的模型具有较佳的效果。
可选的，所述待处理图像为动漫图像。
上述申请中的一种可选实施方式，由于动漫图像的色彩对比度高，且主要以线条为主，总体构图简单不杂乱，则采用本申请提供的图像处理模型，在保证模型深度的同时提高模型的表达能力，并保证清晰化处理的高效性。
第二方面，本申请实施例还提供了一种图像处理装置，包括：
获取模块，用于获取待处理图像；
清晰化模块，用于通过图像处理模型提取所述待处理图像的原始图像特征，提取所述原始图像特征的深度特征，以及对所述原始图像特征和所述深度特征进行合并，并对合并后的特征进行还原，得到清晰化处理后的图像。
第三方面，本申请实施例还提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面实施例所提供的一种图像处理方法。
第四方面，本申请实施例还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如第一方面实施例所提供的一种图像处理方法。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1a是本申请实施例一中的一种图像处理方法的流程图；
图1b示出了一组采用图像处理模型对动漫图像进行清晰化处理的对比效果图；
图1c示出了另一组采用图像处理模型对动漫图像进行清晰化处理的对比效果图；
图2a是本申请实施例二中的一种图像处理方法的流程图；
图2b是本申请实施例二中的图像处理模型的结构示意图；
图3a是本申请实施例三中的一种图像处理方法的流程图；
图3b是本申请实施例三中的原图像与施加噪声和模糊化的样本图像的对比图；
图4是本申请实施例四中的一种图像处理装置的结构图；
图5是用来实现本申请实施例的图像处理方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
实施例一
图1a是本申请实施例一中的一种图像处理方法的流程图，本申请实施例适用于将模糊和/或包含噪声的待处理图像进行清晰化的情况，该方法通过图像处理装置执行，该装置采用软件和/或硬件实现，并具体配置于具备一定数据运算能力的电子设备中。
如图1a所示的一种图像处理方法，包括：
S101、获取待处理图像。
S102、通过图像处理模型提取待处理图像的原始图像特征，提取原始图像特征的深度特征，以及对原始图像特征和深度特征进行合并，并对合并后的特征进行还原，得到清晰化处理后的图像。
本实施例中，待处理图像可以是从网络上下载的图像或者本地存储的数字图像。可选地，待处理图像包含噪声，例如，清晰图像在数字化和传输过程中受到成像设备和外部环境噪声的干扰，而成为噪声图像。待处理图像可以仅包括符合某种分布的噪声，例如高斯分布和正态分布等，也可以包括不符合任何分布的噪声，还可以既包括符合某种分布的噪声又包括不符合任何分布的噪声。可选地，待处理图像的分辨率低于分辨率阈值或者图像有马赛克或伪影，即待处理图像是模糊的。可选地，待处理图像可以既包含噪声又模糊。
本实施例提供的图像处理模型可对图像进行清晰化处理。具体地，可以对待处理图像进行盲去噪，不关注图像包括的噪声类型。换言之，该模型不会因噪声类型而改变模型结构或参数；还可以提高待处理图像的分辨率、去除马赛克和伪影。在具体操作时，将待处理图像输入至图像处理模型中，图像处理模型对待处理图像进行清晰化处理后输出清晰图像。
图像处理模型包括多个处理模块，用于依次执行S102提供的各步操作。其中，首先提取待处理图像的原始图像特征(或称为浅层特征)。原始图像特征一定程度上去除了待处理图像中的噪声、马赛克和伪影。有效图像特征能够高精度表达图像的内容，例如图像包含的物体、背景、人物等。然后，提取原始图像特征的深度特征。深度特征实质是原始图像特征各个部分的细节特征，包括线条、纹理、颜色、距离、尺寸等。各个部分的细节特征从整体上展现了待处理图像的内容。接着，对原始图像特征和深度特征进行合并。可选地，对原始图像特征和深度特征按照特征提取通道进行合并，合并后的特征图像的每个通道都包含了原始图像特征和深层特征，进一步去除了噪声、马赛克和伪影，并提高特征精度。最后，对合并后的特征进行还原，从而在高精度的合并特征的基础上还原图像，提高图像分辨率，得到清晰化处理后的图像。
可选地，本实施例中的待处理图像为动漫图像。如图1b左图和图1c左图所示，通过图像处理模型提取动漫图像的原始图像特征，如图1b左图中的女孩、瓶子、帽子和背景等特征；又如图1c左图中的男孩和女孩、文字、背景等。再提取原始图像特征的深度特征，如图1b左图中女孩人脸特征、头发线条、瓶子尺寸、瓶子包装等深度特征，又如图1c左图中男孩和女孩人脸特征、头发线条、服饰线条、颜色等深度特征。接着，对原始图像特征和深度特征进行合并，并对合并后的特征进行还原，得到清晰图像。例如图1b右图去除了左图中的竖线噪声并改善了模糊情况；图1c右图去除了左图中的明显点状噪点，且提高了人物的服饰和背景的清晰度。
本实施例，通过图像处理模型提取待处理图像的原始图像特征，得到高精度的浅层特征；通过提取原始图像特征的深度特征，得到细节特征；通过对原始图像特征和深度特征进行合并，从而融合浅层特征和深度特征，有效去除马赛克、伪影和噪声，提高图像分辨率，能够尽量多地保留图像细节。
实施例二
本实施例在上述实施例的基础上，进一步优化。可选地，图像处理模型包括：残差网络(ResNet)。基于此，将操作“通过图像处理模型提取原始图像特征的深度特征”细化为“通过残差网络提取原始图像特征的深度特征”，来提高模型收敛速度，并提高模型表达能力。
可选地，图像处理模型还包括：多层级的下采样层和多层级的上采样层；残差网络设置于下采样层和上采样层之间。基于此，将操作“通过图像处理模型提取待处理图像的原始图像特征”细化为“通过下采样层逐层提取待处理图像的原始图像特征，得到多层原始图像特征”；将操作“通过图像处理模型对原始图像特征和深度特征进行合并，并对合并后的特征进行还原，得到清晰化处理后的图像”细化为“通过上采样层逐层对对应层级的原始图像特征和深度特征进行合并，并对合并后的特征逐层进行还原，得到清晰化处理后的图像”，对图像进行逐层特征提取、合并，并逐层还原，利用整个图像中上下文语义信息，有利于还原图像细节，并逐步还原图像精度。
图2a是本申请实施例二中的一种图像处理方法的流程图，图2b是本申请实施例二中的图像处理模型的结构示意图。如图2a所示的方法，包括：
S201、获取待处理图像。
S202、通过下采样层逐层提取待处理图像的原始图像特征，得到多层原始图像特征。
下采样层实质是一种卷积神经网络，用于对待处理图像进行逐层特征提取。首先对待处理图像进行首次特征提取，再对提取的特征进行二次特征提取，以此类推，后次提取的特征较前次提取的特征更深，特征图像(feature map)的数量更多且尺寸更小。
S203、通过残差网络提取原始图像特征的深度特征。
残差网络设置于下采样层和上采样层之间。残差网络包括至少一个残差模块。每个残差模块通过使用多个有参层来学习输入输出之间的残差表示。使用一般意义上的有参层来直接学习残差比直接学习输入、输出间映射收敛速度更快，可通过使用更多的层增加模型的深度，提高模型的表达能力，来达到更高的分类精度，从而高精度提取原始图像特征的深度特征。可选地，为了保证图像清晰度并满足实时性的要求，本实施例加入3个残差模块，每个残差模块包括2个卷积操作。为了保证图像处理模型的对称性，残差模块不改变feature map的数量，即输入输出的通道数相同。
S204、通过上采样层逐层对对应层级的原始图像特征和深度特征进行合并，并对合并后的特征逐层进行还原，得到清晰化处理后的图像。
上采样层实质是一种反卷积神经网络，用于对对应层级的原始图像特征和深度特征进行合并，并对合并后的特征逐层进行还原。
可选地，下采样层包括依次连接的多个下采样模块，上采样层包括依次连接的多个上采样模块，多个下采样模块与多个上采样模块对称连接，残差网络连接在末尾下采样模块之后。
具体地，通过起始上采样模块对末尾下采样模块输出的原始图像特征和残差网络输出的深度特征进行合并，并对合并后的图像特征进行上采样；通过非起始上采样模块对其连接的下采样模块输出的原始图像特征和前一上采样模块输出的特征进行合并，并对合并后的图像特征进行上采样，得到清晰化处理后的图像。
图2b中，矩形块表示feature map，矩形块下方的数字表示feature map的数量。下面基于图2b详细说明图像处理模型的结构和各模块的功能。图2b示出的图像处理模型包括依次连接的输入层、下采样层、残差网络、上采样层和输出层。
模型的第一层为输入层，包括卷积操作和激活操作，以对待处理图像进行初步的特征提取。图2b中的输入层首先提取了待处理图像中的RGB三通道的feature map，然后，对feature map进行卷积得到64个feature map。此时，feature map高为H，宽为W，H和W例如为256。
模型的第二层为下采样层，包括依次连接的多个下采样模块，每个下采样模块包括卷积操作和下采样操作，逐步提取图像的深层特征，以逐渐展现图像的环境信息。每经过一个下采样模块，feature map的数量翻倍，尺寸减半。可选地，为了去除噪声的同时保留图像的大部分原始信息，下采样模块的数量小于预设值，预设值可以根据图像去噪效果自主设置，例如3或4。图2b示出了2个下采样模块，第1个下采样模块对输入层输出的featuremap进行卷积和下采样，得到128个feature map，尺寸变为H/2×W/2，例如为128×128。第2个下采样模块对第1个下采样模块输出的feature map再次进行卷积和下采样，得到256个feature map，尺寸变为H/4×W/4，例如为64×64。
模型的第三层为残差网络，图2b示出了3个残差模块，每个残差模块输出的feature map的数量为256，尺寸依然为H/4×W/4，例如为64×64。
模型的第四层为上采样层。本实施例中的下采样层和上采样层跳跃连接，基于此，上采样层结合下采样层和残差网络的输出特征来还原图像细节信息，并且逐步还原图像精度。具体地，上采样层包括依次连接的多个上采样模块，每个上采样模块包括卷积操作和上采样操作。每经过一个上采样模块，feature map的数量减半，尺寸翻倍。可选地，为了保证图像处理模型的对称性，并输出与待处理图像尺寸相同的清晰图像，下采样模块和上采样模块的数量相等，且均小于预设值。预设值可以自主设定，例如3个。
可选的，输入至上采样模块的2组feature map的各特征值对应相加，以实现feature map按照通道维度进行合并。图2b示出了2个上采样模块，起始上采样模块对残差网络输出的feature map以及末尾下采样模块输出的feature map以通道维度进行合并，得到256个feature map，并对feature map进行卷积和上采样得到128个feature map，尺寸变为H/2×W/2，例如为128×128。末尾上采样模块对起始下采样模块输出的feature map和前一上采样模块输出的feature map以通道维度进行合并，得到128个feature map，并对feature map进行卷积和上采样得到64个feature map，尺寸变为H×W，例如为256×256。
模型的第五层为输出层，包括多个卷积操作，以输出清晰的图像。例如，图2b中的输出层包括3个卷积操作，输出与待处理图像尺寸相同的清晰图像。此时，feature map高为H，宽为W，H和W例如为256。进一步可选地，输入层和输出层跳跃连接。输出层用于对输入层输出的feature map和上采样层输出的feature map以通道维度进行合并，并对合并后的feature map进行卷积并输出。通过输入层和输出层跳跃连接可以进一步提高图像精度。
值得说明的是，如果待处理图像为动漫图像，由于动漫图像的图像细节少，因此不需要过深的神经网络。2个下采样模块和3个残差模块即可充分提取动漫图像的特征。而且，动漫图像的色彩对比度高，且主要以线条为主，总体构图简单不杂乱，则采用本申请提供的图像处理模型，在保证模型深度的同时提高模型的表达能力，并保证清晰化处理的高效性。
本申请实施例中，图像处理模型通过下采样层逐渐展现待处理图像中的环境信息，通过残差网络在进一步增加网络深度的情况下，维持较高的准确率，在一定程度上提高模型的表达能力；接着，通过连接上采样层和下采样层，从而上采样层对下采样层输出的高精度特征和残差网络输出的深度特征进行上采样，能够结合底部和高层的信息，提供整个图像中上下文语义信息，有利于还原图像细节，并逐步还原图像精度。
进一步地，本实施例中的图像处理模型是端对端的对称结构，从而对图像进行逐步下采样和逐步上采样，以得到与待处理图像同样尺寸的清晰图像。通过将下采样模块和上采样模块的数量设置在预设值之内，能够在清晰化图像的同时保留图像的大部分原始信息，而且提高去噪处理效率。
进一步地，对称连接实现了上下采样模块的逐层的特征融合，在特征融合过程中，特征图像的每个通道维度都包含了更多特征，使得后续的输出层可以更好地融合浅层特征与深层特征，进而更好地达到清晰化的目的。
实施例三
图3a是本申请实施例三中的一种图像处理方法的流程图，本申请实施例在上述各实施例的技术方案的基础上进行了优化改进。
进一步的，在操作“通过图像处理模型提取待处理图像的原始图像特征，提取原始图像特征的深度特征，以及对原始图像特征和深度特征进行合并，并对合并后的特征进行还原，得到清晰化处理后的图像”之前追加“获取多张原图像和对每张原图像施加噪声和/或模糊化的样本图像；采用多张原图像和多张样本图像，对图像处理模型进行训练”，从而得到用于清晰化的模型。
如图3a所示的一种图像处理方法，包括：
S301、获取待处理图像。
S302、获取多张原图像和对每张原图像施加噪声和/或模糊化的样本图像。
本实施例中，原图像是清晰图像。通过对原图像施加噪声和/或模糊化得到对应的样本图像。可选地，噪声可以是符合某种分布的噪声，例如高斯分布和正态分布等，也可以是不符合任何分布的噪声，还可以既包括符合某种分布的噪声又包括不符合任何分布的噪声。可选地，模糊化包括降低图像分辨率，加入马赛克和伪影中的至少一种。
可选地，对每张原图像施加噪声和模糊化，包括：依次对每张原图像进行放大、施加噪声并缩小到该原图像的尺寸；或者，依次对每张原图像进行缩小、施加噪声并放大到该原图像的尺寸。具体地，施加噪声后再对图像进行尺度调整，不仅能改变噪声分布还能降低图像的清晰度。在一具体实施方式中，先对每一张原图像放大或缩小，再施加服从正态分布的高斯白噪声，该方式可模仿图像的噪声、噪点。之后，对每一张施加噪声后的图像进行缩小或放大到原图像的尺寸，这一步操作不仅能够改变噪声的分布，同时也能够模仿图像模糊的情况，例如降低分辨率，带入马赛克和伪影等。这样每一张图像的清晰度以及噪声都是不同的，近似于日常得到的图像。结果如图3b所示，左图为原图像，右图为对左图施加噪声和模糊化的样本图像。实验表明，这样的图像处理方式对于训练数据的获取，以及得到好的模型具有较佳的效果。
S303、采用多张原图像和多张样本图像，对图像处理模型进行训练。
在训练图像处理模型时，采用L1损失函数。L1损失函数如下式所示：
L1＝∑||f(G)-f||； (1)
其中，f(G)为模型输出的图像，f为与样本图像对应的原图像。L1对f(G)和f进行逐像素求和。不断迭代图像处理模型中的参数，直到最小化L1。
L1损失对图像的像素进行了平均化处理，在清晰化的同时也能保存一些图像边缘细节，避免对纹理的细节产生较大影响。
S304、通过图像处理模型提取待处理图像的原始图像特征，提取原始图像特征的深度特征，以及对原始图像特征和深度特征进行合并，并对合并后的特征进行还原，得到清晰化处理后的图像。
本实施例中，S302和S303在S304之前执行即可，可以在S301之后执行，也可以在S301之前执行。
通过采用多张原图像和样本图像对图像处理模型进行训练，以通过该模型对图像进行清晰化处理。当施加的噪声为复杂噪声，而非符合某种分布的噪声时，该模型仍能表现出优异的去噪能力，实现图像的盲去噪；而且，该模型通过采用模糊化的图像样本，使得训练出的模块能去除图像中的马赛克、伪影并提高图像分辨率。
下面以一具体应用场景详细说明上述实施例提供的方法。
目前，用户可以上传图像(例如动漫类型图像)来搜寻信息，获取相同图、相似图、情侣图等服务。但是，用户上传的图像可能存在噪声、模糊的问题，则获取用户上传的图像作为待处理图像，再采用图像处理模型对待处理图像进行清晰化处理。处理后的图像具有较高的清晰度，能够得到更加优秀搜索结果，提升用户的体验。
接着，通过搜索技术，根据用户上传的图像，抓取网上的图像或者数据库中的图像返回给用户。抓取的图像中可能包含低质量的图像，例如，存在噪声、伪影，或者图像清晰度不够等问题，给用户造成不佳的搜索结果体验。因此，将抓取的图像作为待处理图像，再采用图像处理模型对待处理图像进行清晰化处理。从而，提升图像的质量，消除噪音，提升清晰度，更好的满足用户对于图像搜索的需求。
实施例四
图4是本申请实施例四中的一种图像处理装置的结构图，本申请实施例适用于将模糊和/或包含噪声的待处理图像进行清晰化的情况，该装置采用软件和/或硬件实现，并具体配置于具备一定数据运算能力的电子设备中。
如图4所示的一种图像处理装置400，包括：获取模块401和清晰化模块402；其中，
获取模块401，用于获取待处理图像。
清晰化模块402，用于通过图像处理模型提取待处理图像的原始图像特征，提取原始图像特征的深度特征，以及对原始图像特征和深度特征进行合并，并对合并后的特征进行还原，得到清晰化处理后的图像。
本申请实施例，通过图像处理模型提取待处理图像的原始图像特征，得到高精度的浅层特征；通过提取原始图像特征的深度特征，得到细节特征；通过对原始图像特征和深度特征进行合并，从而融合浅层特征和深度特征，有效去除马赛克、伪影和噪声，提高图像分辨率，能够尽量多地保留图像细节。
进一步地，图像处理模型包括：残差网络；清晰化模块402在通过图像处理模型提取原始图像特征的深度特征时，具体用于通过残差网络提取原始图像特征的深度特征。
进一步地，图像处理模型还包括：多层级的下采样层和多层级的上采样层；残差网络设置于下采样层和上采样层之间；清晰化模块402在通过图像处理模型提取待处理图像的原始图像特征时，具体用于通过下采样层逐层提取待处理图像的原始图像特征，得到多层原始图像特征；清晰化模块402在通过图像处理模型对原始图像特征和深度特征进行合并，并对合并后的特征进行还原，得到清晰化处理后的图像时，具体用于：通过上采样层逐层对对应层级的原始图像特征和深度特征进行合并，并对合并后的特征逐层进行还原，得到清晰化处理后的图像。
进一步地，下采样层包括依次连接的多个下采样模块，上采样层包括依次连接的多个上采样模块，多个下采样模块与多个上采样模块对称连接；清晰化模块402在通过上采样层逐层对对应层级的原始图像特征和深度特征进行合并，并对合并后的特征逐层进行还原，得到清晰化处理后的图像时，具体用于通过起始上采样模块对末尾下采样模块输出的原始图像特征和残差网络输出的深度特征进行合并，并对合并后的图像特征进行上采样；通过非起始上采样模块对其连接的下采样模块输出的原始图像特征和前一上采样模块输出的特征进行合并，并对合并后的图像特征进行上采样，得到清晰化处理后的图像。
进一步地，该装置还包括训练模块，用于获取多张原图像和对每张原图像施加噪声和/或模糊化的样本图像；采用多张原图像和多张样本图像，对图像处理模型进行训练。
进一步地，训练模块在对每张原图像施加噪声和模糊化时，具体用于依次对每张原图像进行放大、施加噪声并缩小到该原图像的尺寸；或者，依次对每张原图像进行缩小、施加噪声并放大到该原图像的尺寸。
进一步地，待处理图像为动漫图像。
上述图像处理装置可执行本申请任意实施例所提供的图像处理方法，具备执行图像处理方法相应的功能模块和有益效果。
实施例五
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图5所示，是实现本申请实施例的图像处理方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图5所示，该电子设备包括：一个或多个处理器501、存储器502，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图5中以一个处理器501为例。
存储器502即为本申请所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本申请所提供的图像处理方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的图像处理方法。
存储器502作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的图像处理的方法对应的程序指令/模块(例如，附图4所示的包括获取模块401和清晰化模块402)。处理器501通过运行存储在存储器502中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的图像处理的方法。
存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储实现图像处理方法的电子设备的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器502可选包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至执行图像处理方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
执行图像处理方法的电子设备还可以包括：输入装置503和输出装置504。处理器501、存储器502、输入装置503和输出装置504可以通过总线或者其他方式连接，图5中以通过总线连接为例。
输入装置503可接收输入的数字或字符信息，以及产生与执行图像处理方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置504可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
本申请实施例，通过图像处理模型提取待处理图像的原始图像特征，得到高精度的浅层特征；通过提取原始图像特征的深度特征，得到细节特征；通过对原始图像特征和深度特征进行合并，从而融合浅层特征和深度特征，有效去除马赛克、伪影和噪声，提高图像分辨率，能够尽量多地保留图像细节。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (10)
1.一种图像处理方法，其特征在于，包括：
获取待处理图像；
通过图像处理模型提取所述待处理图像的原始图像特征，提取所述原始图像特征的深度特征，以及对所述原始图像特征和所述深度特征进行合并，并对合并后的特征进行还原，得到清晰化处理后的图像。
2.根据权利要求1所述的方法，其特征在于，所述图像处理模型包括：残差网络；
所述通过图像处理模型提取所述原始图像特征的深度特征，包括：
通过残差网络提取所述原始图像特征的深度特征。
3.根据权利要求2所述的方法，其特征在于，所述图像处理模型还包括：多层级的下采样层和多层级的上采样层；所述残差网络设置于所述下采样层和所述上采样层之间；
所述通过所述图像处理模型提取所述待处理图像的原始图像特征，包括：通过所述下采样层逐层提取所述待处理图像的原始图像特征，得到多层原始图像特征；
所述通过所述图像处理模型对所述原始图像特征和所述深度特征进行合并，并对合并后的特征进行还原，得到清晰化处理后的图像，包括：
通过所述上采样层逐层对对应层级的原始图像特征和所述深度特征进行合并，并对合并后的特征逐层进行还原，得到清晰化处理后的图像。
4.根据权利要求3所述的方法，其特征在于，所述下采样层包括依次连接的多个下采样模块，所述上采样层包括依次连接的多个上采样模块，多个所述下采样模块与多个所述上采样模块对称连接；
所述通过所述上采样层逐层对对应层级的原始图像特征和所述深度特征进行合并，并对合并后的特征逐层进行还原，得到清晰化处理后的图像，包括：
通过起始上采样模块对末尾下采样模块输出的原始图像特征和所述残差网络输出的深度特征进行合并，并对合并后的图像特征进行上采样；
通过非起始上采样模块对其连接的下采样模块输出的原始图像特征和前一上采样模块输出的特征进行合并，并对合并后的图像特征进行上采样，得到清晰化处理后的图像。
5.根据权利要求1所述的方法，其特征在于，在所述通过图像处理模型提取所述待处理图像的原始图像特征，提取所述原始图像特征的深度特征，以及对所述原始图像特征和所述深度特征进行合并，并对合并后的特征进行还原，得到清晰化处理后的图像之前，还包括：
获取多张原图像和对每张原图像施加噪声和/或模糊化的样本图像；
采用所述多张原图像和多张样本图像，对所述图像处理模型进行训练。
6.根据权利要求5所述的方法，其特征在于，所述对每张原图像施加噪声和模糊化，包括：
依次对每张原图像进行放大、施加噪声并缩小到该原图像的尺寸；或者，依次对每张原图像进行缩小、施加噪声并放大到该原图像的尺寸。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述待处理图像为动漫图像。
8.一种图像处理装置，其特征在于，包括：
获取模块，用于获取待处理图像；
清晰化模块，用于通过图像处理模型提取所述待处理图像的原始图像特征，提取所述原始图像特征的深度特征，以及对所述原始图像特征和所述深度特征进行合并，并对合并后的特征进行还原，得到清晰化处理后的图像。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的一种图像处理方法。
10.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的一种图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911397199.5A CN111192215B (zh) | 2019-12-30 | 2019-12-30 | 图像处理方法、装置、设备和可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911397199.5A CN111192215B (zh) | 2019-12-30 | 2019-12-30 | 图像处理方法、装置、设备和可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111192215A true CN111192215A (zh) | 2020-05-22 |
| CN111192215B CN111192215B (zh) | 2023-08-29 |
Family
ID=70711090
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911397199.5A Active CN111192215B (zh) | 2019-12-30 | 2019-12-30 | 图像处理方法、装置、设备和可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111192215B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111899199A (zh) * | 2020-08-07 | 2020-11-06 | 深圳市捷顺科技实业股份有限公司 | 一种图像处理方法、装置、设备及存储介质 |
| CN112288657A (zh) * | 2020-11-16 | 2021-01-29 | 北京小米松果电子有限公司 | 图像处理方法、图像处理装置及存储介质 |
| CN113192022A (zh) * | 2021-04-27 | 2021-07-30 | 长治学院 | 基于深度学习的病原孢子识别计数方法和装置 |
| CN113763310A (zh) * | 2020-11-09 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 用于分割图像的方法和装置 |
| WO2022022494A1 (zh) * | 2020-07-27 | 2022-02-03 | 南京图格医疗科技有限公司 | 一种基于CBD-Net的医学内窥图像去噪方法 |
| CN114220132A (zh) * | 2021-12-01 | 2022-03-22 | 上海海栎创科技股份有限公司 | 指纹图像降噪方法及其装置 |
| CN114972045A (zh) * | 2021-02-22 | 2022-08-30 | 北京金山云网络技术有限公司 | 一种图像处理方法、装置、电子设备及可读存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103514580A (zh) * | 2013-09-26 | 2014-01-15 | 香港应用科技研究院有限公司 | 用于获得视觉体验优化的超分辨率图像的方法和系统 |
| CN107358575A (zh) * | 2017-06-08 | 2017-11-17 | 清华大学 | 一种基于深度残差网络的单幅图像超分辨率重建方法 |
| CN109584246A (zh) * | 2018-11-16 | 2019-04-05 | 成都信息工程大学 | 基于多尺度特征金字塔的dcm心肌诊疗放射影像分割方法 |
| CN109886273A (zh) * | 2019-02-26 | 2019-06-14 | 四川大学华西医院 | 一种cmr图像分割分类系统 |
| CN110276731A (zh) * | 2019-06-17 | 2019-09-24 | 艾瑞迈迪科技石家庄有限公司 | 内镜图像颜色还原方法及装置 |
| CN110288518A (zh) * | 2019-06-28 | 2019-09-27 | 北京三快在线科技有限公司 | 图像处理方法、装置、终端及存储介质 |
-
2019
- 2019-12-30 CN CN201911397199.5A patent/CN111192215B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103514580A (zh) * | 2013-09-26 | 2014-01-15 | 香港应用科技研究院有限公司 | 用于获得视觉体验优化的超分辨率图像的方法和系统 |
| CN107358575A (zh) * | 2017-06-08 | 2017-11-17 | 清华大学 | 一种基于深度残差网络的单幅图像超分辨率重建方法 |
| CN109584246A (zh) * | 2018-11-16 | 2019-04-05 | 成都信息工程大学 | 基于多尺度特征金字塔的dcm心肌诊疗放射影像分割方法 |
| CN109886273A (zh) * | 2019-02-26 | 2019-06-14 | 四川大学华西医院 | 一种cmr图像分割分类系统 |
| CN110276731A (zh) * | 2019-06-17 | 2019-09-24 | 艾瑞迈迪科技石家庄有限公司 | 内镜图像颜色还原方法及装置 |
| CN110288518A (zh) * | 2019-06-28 | 2019-09-27 | 北京三快在线科技有限公司 | 图像处理方法、装置、终端及存储介质 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022022494A1 (zh) * | 2020-07-27 | 2022-02-03 | 南京图格医疗科技有限公司 | 一种基于CBD-Net的医学内窥图像去噪方法 |
| CN111899199A (zh) * | 2020-08-07 | 2020-11-06 | 深圳市捷顺科技实业股份有限公司 | 一种图像处理方法、装置、设备及存储介质 |
| CN111899199B (zh) * | 2020-08-07 | 2024-03-19 | 深圳市捷顺科技实业股份有限公司 | 一种图像处理方法、装置、设备及存储介质 |
| CN113763310A (zh) * | 2020-11-09 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 用于分割图像的方法和装置 |
| CN112288657A (zh) * | 2020-11-16 | 2021-01-29 | 北京小米松果电子有限公司 | 图像处理方法、图像处理装置及存储介质 |
| CN114972045A (zh) * | 2021-02-22 | 2022-08-30 | 北京金山云网络技术有限公司 | 一种图像处理方法、装置、电子设备及可读存储介质 |
| CN113192022A (zh) * | 2021-04-27 | 2021-07-30 | 长治学院 | 基于深度学习的病原孢子识别计数方法和装置 |
| CN114220132A (zh) * | 2021-12-01 | 2022-03-22 | 上海海栎创科技股份有限公司 | 指纹图像降噪方法及其装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111192215B (zh) | 2023-08-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111192215B (zh) | 图像处理方法、装置、设备和可读存储介质 | |
| CN111182254B (zh) | 一种视频处理方法、装置、设备及存储介质 | |
| US20220261960A1 (en) | Super-resolution reconstruction method and related apparatus | |
| CN111654723B (zh) | 视频质量提升方法、装置、电子设备和存储介质 | |
| CN112528976B (zh) | 文本检测模型的生成方法和文本检测方法 | |
| EP3819820B1 (en) | Method and apparatus for recognizing key identifier in video, device and storage medium | |
| CN111783647A (zh) | 人脸融合模型的训练方法、人脸融合方法、装置及设备 | |
| KR20210040302A (ko) | 얼굴 초해상도 실현 방법, 장치, 전자기기, 저장매체 및 컴퓨터 프로그램 | |
| CN111832745A (zh) | 数据增广的方法、装置及电子设备 | |
| CN111709875B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| US10783713B2 (en) | Transmutation of virtual entity sketch using extracted features and relationships of real and virtual objects in mixed reality scene | |
| CN111768468B (zh) | 图像填充方法、装置、设备及存储介质 | |
| US11983849B2 (en) | Image filling method and apparatus, device, and storage medium | |
| CN111768356A (zh) | 一种人脸图像融合方法、装置、电子设备及存储介质 | |
| CN113014936A (zh) | 视频插帧方法、装置、设备以及存储介质 | |
| CN111768467B (zh) | 图像填充方法、装置、设备及存储介质 | |
| CN115100334B (zh) | 一种图像描边、图像动漫化方法、设备及存储介质 | |
| CN111640123A (zh) | 无背景图像的生成方法、装置、设备及介质 | |
| CN111861954A (zh) | 编辑人脸的方法、装置、电子设备和可读存储介质 | |
| EP3996040B1 (en) | Image cleanup on a mobile device | |
| CN112837240B (zh) | 模型训练方法、分数提升方法、装置、设备、介质和产品 | |
| CN112508811A (zh) | 图像预处理方法、装置、设备以及存储介质 | |
| CN116363249A (zh) | 可控图像生成方法、装置及电子设备 | |
| CN112529154A (zh) | 图像生成模型训练方法和装置、图像生成方法和装置 | |
| CN111932530A (zh) | 三维对象检测方法、装置、设备和可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |