CN115115513A - 图像处理方法、装置、设备及存储介质 - Google Patents

图像处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115115513A
CN115115513A CN202210667059.0A CN202210667059A CN115115513A CN 115115513 A CN115115513 A CN 115115513A CN 202210667059 A CN202210667059 A CN 202210667059A CN 115115513 A CN115115513 A CN 115115513A
Authority
CN
China
Prior art keywords
sample
image
features
deep
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210667059.0A
Other languages
English (en)
Inventor
王昭武
高小宏
陆江辉
李侃
肖正欣
孙傲冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202210667059.0A priority Critical patent/CN115115513A/zh
Publication of CN115115513A publication Critical patent/CN115115513A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种图像处理方法、装置、设备及存储介质，可以应用于云技术、人工智能、智慧交通、车联网等各种场景，所述方法包括：获取分辨率小于预设阈值的待处理图像；基于图像处理模型对所述待处理图像进行分辨率增强处理，得到目标图像；其中，所述图像处理模型的训练方法包括：基于预设模型将所述第一样本图像的初始样本浅层特征，分解成至少两个目标样本浅层特征；基于所述预设模型对样本深层特征进行分辨率增强训练，以调整所述预设模型的参数，至所述预设模型的分辨率损失值小于预设值；将当前模型参数所对应的预设模型，作为所述图像处理模型。本申请提高了目标图像的清晰度。

Description

图像处理方法、装置、设备及存储介质
技术领域
本申请涉及计算机技术领域，尤其涉及一种图像处理方法、装置、设备及存储介质。
背景技术
随着图像处理技术的发展，通过拍摄图像获取或检测某些重要信息数据，在各行各业中都被广泛应用。而高分辨率的图像往往能够更清晰准确的反应图像中的信息。图像超分辨率旨在对低分辨率图像进行修复，使图像包含更多的细节信息，以提高图像的清晰度。目前，图像超分辨技术主要分成：基于插值的方法和基于重构的方法。基于插值的方法假设图像的灰度值是连续变化的，可以利用周围像素的灰度值确定目标像素的灰度值。基于插值的方法具有较高的重建效率，但是通常忽略更多高频细节，导致重建图像效果较差。基于重构的方法将超分辨问题转换成损失函数优化问题，利用图像局部平滑特性，像素灰度值非负，能量有限等先验知识作为正则项。基于重构的方法虽然能够产生锐化的边界，但是当放大倍数太大时会遗漏高频信息。
发明内容
本申请提供了一种图像处理方法、装置、设备及存储介质，可以准确识别待处理图像中的细节信息，提高了目标图像的清晰度。
一方面，本申请提供了一种图像处理方法，所述方法包括：
获取分辨率小于预设阈值的待处理图像；
基于图像处理模型对所述待处理图像进行分辨率增强处理，得到目标图像；所述目标图像的分辨率大于所述待处理图像的分辨率；
其中，所述图像处理模型的训练方法包括：
获取第一样本图像和第二样本图像；所述第一样本图像为基于对所述第二样本图像进行分辨率降低处理得到；
基于预设模型将所述第一样本图像的初始样本浅层特征，分解成至少两个目标样本浅层特征；
基于所述预设模型对样本深层特征进行分辨率增强训练，以调整所述预设模型的参数，至所述预设模型的分辨率损失值小于预设值；所述样本深层特征为基于对所述至少两个目标样本浅层特征进行深层特征提取得到；
将当前模型参数所对应的预设模型，作为所述图像处理模型；所述当前模型参数为分辨率损失值小于所述预设值时的模型参数。
另一方面提供了一种图像处理装置，所述装置包括：
待处理图像获取模块，用于获取分辨率小于预设阈值的待处理图像；
图像处理模块，用于基于图像处理模型对所述待处理图像进行分辨率增强处理，得到目标图像；所述目标图像的分辨率大于所述待处理图像的分辨率；
样本图像获取模块，用于获取第一样本图像和第二样本图像；所述第一样本图像为基于对所述第二样本图像进行分辨率降低处理得到；所述第二样本图像的分辨率大于所述预设阈值；
样本浅层特征分解模块，用于基于预设模型将所述第一样本图像的初始样本浅层特征分解成至少两个目标样本浅层特征；
训练模块，用于基于所述预设模型对样本深层特征进行分辨率增强训练，以调整所述预设模型的参数，至所述预设模型的分辨率损失值小于预设值；所述样本深层特征为基于对所述至少两个目标样本浅层特征进行深层特征提取得到；
模型确定模块，用于将当前模型参数所对应的预设模型，作为所述图像处理模型；所述当前模型参数为分辨率损失值小于所述预设值时的模型参数。
另一方面提供了一种图像处理设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上所述的图像处理方法。
另一方面提供了一种计算机存储介质，所述计算机存储介质存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现如上所述的图像处理方法。
另一方面提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行以实现如上所述的图像处理方法。
本申请提供的图像处理方法、装置、设备及存储介质，具有如下技术效果：
本申请获取分辨率小于预设阈值的待处理图像；基于图像处理模型对所述待处理图像进行分辨率增强处理，得到目标图像；其中，所述图像处理模型的训练方法包括：获取第一样本图像和第二样本图像；基于预设模型将所述第一样本图像的初始样本浅层特征，分解成至少两个目标样本浅层特征；基于所述预设模型对样本深层特征进行分辨率增强训练，以调整所述预设模型的参数，至所述预设模型的分辨率损失值小于所述预设值；所述样本深层特征为基于对所述至少两个目标样本浅层特征进行深层特征提取得到；将当前模型参数所对应的预设模型，作为所述图像处理模型；所述当前模型参数为分辨率损失值小于所述预设值时的模型参数。本申请在模型的训练过程中，通过对图像中提取的浅层特征进行分解，再基于分解后的浅层特征提取深层特征进行模型训练，在保证模型准确率的前提下减少了模型参数，降低了模型训练过程中的计算量，提高了模型训练速度；且得到的图像处理模型能够准确识别待处理图像中的细节信息，提高了目标图像的清晰度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1是本申请实施例提供的一种图像处理系统的示意图；
图2是本申请实施例提供的一种图像处理方法的流程示意图；
图3是本申请实施例提供的一种基于所述预设模型对样本深层特征进行分辨率增强训练的方法的流程示意图；
图4是本申请实施例提供的一种基于每个增强密集连接块，对所述每个增强密集连接块对应的目标样本浅层特征进行深层特征提取，得到所述至少两个样本深层特征的方法的流程示意图；
图5是本申请实施例提供的将所述第一深层特征以及至少一个目标增强密集连接块对应的目标样本浅层特征，输入所述至少一个目标增强密集连接块，得到至少一个目标深层特征的方法的流程示意图；
图6是本申请实施例提供的基于所述预设模型对所述样本融合特征进行分辨率增强训练的方法的流程示意图；
图7是本申请实施例提供的一种MEDCN网络的结构示意图；
图8是本申请实施例提供的一种EDCB网络的结构示意图；
图9是本申请实施例提供的一种待处理图像示意图；
图10是本申请实施例提供的采用不同方法得到的高分辨率图像示意图；
图11是本申请实施例提供的一种图像处理装置的结构示意图；
图12是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
首先，在对本申请实施例进行描述的过程中出现的部分名词或者术语作如下解释：
图像超分辨：由一幅低分辨率图像或图像序列恢复出高分辨率图像。
卷积神经网络：是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，是深度学习(deep learning)的代表算法之一。
梯度消失：在神经网络中，当前面隐藏层的学习速率低于后面隐藏层的学习速率，即随着隐藏层数目的增加，准确率反而下降了；这种现象叫梯度消失。
PSNR：Peak Signal to Noise Ratio，峰值信噪比，是一种评价图像的客观标准。
SSIM：Structural Similarity，结构相似性，是一种衡量两幅图像相似度的指标。
人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。本申请实施例提供的方案涉及人工智能的计算机视觉技术、机器学习等技术。
云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。云技术基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，只能通过云计算来实现。
大数据(Big data)是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。随着云时代的来临，大数据也吸引了越来越多的关注，大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。本申请实施例提供的方案涉及云技术中的大数据，通过对图像进行超分辨处理，得到高分辨率图像，从而可以用于进行图像中对象的识别、分类，并进行精准推荐。
智慧交通是在整个交通运输领域充分利用物联网、空间感知、云计算、移动互联网等新一代信息技术，综合运用交通科学、系统方法、人工智能、知识挖掘等理论与工具，以全面感知、深度融合、主动服务、科学决策为目标，通过建设实时的动态信息服务体系，深度挖掘交通运输相关数据，形成问题分析模型，实现行业资源配置优化能力、公共决策能力、行业管理能力、公众服务能力的提升，推动交通运输更安全、更高效、更便捷、更经济、更环保、更舒适的运行和发展，带动交通运输相关产业转型、升级。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
请参阅图1，图1是本申请实施例提供的一种图像处理系统的示意图，如图1所示，该图像处理系统可以至少包括服务器01和客户端02。
具体的，本申请实施例中，所述服务器01可以包括一个独立运行的服务器，或者分布式服务器，或者由多个服务器组成的服务器集群，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(ContentDelivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。服务器01可以包括有网络通信单元、处理器和存储器等等。具体的，所述服务器01可以用于将低分辨率的待处理图像转换成高分辨率的目标图像。
具体的，本申请实施例中，所述客户端02可以包括智能手机、台式电脑、平板电脑、笔记本电脑、数字助理、智能可穿戴设备、智能音箱、车载终端、智能电视等类型的实体设备，也可以包括运行于实体设备中的软体，例如一些服务商提供给用户的网页页面，也可以为该些服务商提供给用户的应用。具体的，所述客户端02可以用于在线查看待处理图像对应的目标图像。
以下介绍本申请的一种图像处理方法，其为一种图像超分辨方法，图2是本申请实施例提供的一种图像处理方法的流程示意图，本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图2所示，所述方法可以包括：
S201：获取分辨率小于预设阈值的待处理图像。
在本申请实施例中，分辨率小于预设阈值的待处理图像为低分辨率图像。
S203：基于图像处理模型对所述待处理图像进行分辨率增强处理，得到目标图像；所述目标图像的分辨率大于所述待处理图像的分辨率。
在本申请实施例中，目标图像为所述待处理图像对应的高分辨率图像；将模糊图像(待处理图像)清晰化，可作为图像分类、图像识别的预处理手段，有效提升图像分类、图像识别的准确率。
在本申请实施例中，可以将所述待处理图像输入图像处理模型进行分辨率增强处理，得到目标图像；图像处理模型可以为多通道增强密集连接网络(Multi-ChannelEnhanced Dense Connection Network，MEDCN)，该网络可以包括目标浅层特征提取网络、目标浅层特征分解网络、目标深层特征提取网络、目标特征融合网络以及目标亚像素卷积网络。
在本申请实施例中，所述基于图像处理模型对所述待处理图像进行分辨率增强处理，得到目标图像，可以包括：
基于目标浅层特征提取网络提取所述待处理图像的浅层特征，得到第一浅层特征；
在本申请实施例中，浅层特征提取网络可以由第一数量的卷积层组成，第一浅层特征可以为第一维度的特征，例如可以为64维的浅层特征。
基于所述目标浅层特征分解网络，将所述第一浅层特征分解成至少两个第二浅层特征；
在本申请实施例中，可以将第一浅层特征按照维度分解成至少两个第二浅层特征；例如，可以将64维的浅层特征分解成四组16维的特征，从而得到四个第二浅层特征。
基于目标深层特征提取网络，从所述至少两个第二浅层特征中提取所述待处理图像的目标深层特征；
在本申请实施例中，目标深层特征提取网络可以包括固定数量的增强密集连接块(Enhanced Dense Connection Block，EDCB)；各个EDCB之间密集连接；每个EDCB由多个不同的卷积网络组成。
其中，所述图像处理模型的训练方法包括：
S301：获取第一样本图像和第二样本图像；所述第一样本图像为基于对所述第二样本图像进行分辨率降低处理得到；
在本申请实施例中，所述第二样本图像的分辨率大于所述预设阈值；所述第一样本图像为低分辨率图像，所述第二样本图像为第一样本图像对应的高分辨率图像。可以将第一样本图像和第二样本图像构建成样本图像对之后，再进行模型训练。
在本申请实施例中，可以将DIV2K数据作为训练样本图像，DIV2K数据为一种超级分辨率数据集，该数据集中包括800张2K分辨率的训练图像，100张验证图像和100张测试图像，可以选择800张训练图像作为训练样本图像；训练图像包括高分辨图像以及对应的低分辨率图像；可以根据DIV2K数据中训练图像构建HR/LR图像对，对预设模型进行训练，得到图像处理模型；也可以采用双三次插值下采样对训练图像中的高分辨图像进行处理，下采样因子可以分别选择2、3、4，得到预设分辨率的低分辨率图像，再构建样本图像对进行模型训练。其中，双三次插值又称立方卷积插值。三次卷积插值是一种更加复杂的插值方式。该算法利用待采样点周围16个点的灰度值作三次插值，不仅考虑到4个直接相邻点的灰度影响，而且考虑到各邻点间灰度值变化率的影响。
S303：基于预设模型将所述第一样本图像的初始样本浅层特征，分解成至少两个目标样本浅层特征；
在本申请实施例中，预设模型可以为多通道增强密集连接网络(Multi-ChannelEnhanced Dense Connection Network，MEDCN)，在预设模型训练完成之后，可以将低分辨率图像(Low Resolution，LR)输入模型，得到对应的高分辨率图像(High Resolution，HR)；如图7所示，图7为一种MEDCN网络的结构示意图，包括浅层特征提取网络、深层特征提取网络、特征融合(Feature Fusion)网络、上采样(Upsample)网络以及卷积网络(Conv)等。
在本申请实施例中，给定输入低分辨率图像LR，通过MEDCN可得到清晰的高分辨率图像HR，公式为：
ISR＝FMEDCN(ILR)；
其中ILR为低分辨率图像，FMEDCN(·)为MEDCN对应的函数，ISR为重建的高分辨率图像。
在本申请实施例中，预设模型中可以包括浅层特征分解网络，可以根据浅层特征分解网络，将将所述第一样本图像的初始样本浅层特征，分解成至少两个目标样本浅层特征；其中初始样本浅层特征的维度大于每个目标样本浅层特征的维度。可以按照维度将初始样本浅层特征对应的特征向量平均分成预设数量组子特征向量，各组子特征向量的数量相同，基于每组子特征向量构建一个目标样本浅层特征，每个目标样本浅层特征对应的维度为初始样本浅层特征的维度与所述预设数量的比值；例如，可以将64维的初始样本浅层特征分解成四组16维的浅层特征向量，从而得到四个第二浅层特征。
在本申请实施例中，对于深层和浅层特征，主要取决于卷积层的数量。以3x3的目标为例，下采样2次后，目标就会消失，因此，在Conv3上，目标会消失。将Conv1和Conv2作为浅层特征，其他的作为深层特征。类似的，如果是5x5的目标，conv1，conv2和conv3是浅层特征，其他的是深层特征。浅层特征提取由一层包含64个滤波器的3×3卷积组成，低分辨率图像经过该层卷积得到维度为64的特征向量，然后将此特征向量平均分成四组，每组用于后续的深层特征提取，对应的公式为：
F0＝FS(ILR)
F01,F02,F03,F04＝split(F0)
其中FS(·)为浅层特征提取操作，F0为浅层特征，split(·)为分组操作，F01,F02,F03,F04为维度为16的浅层特征。
在本申请实施例中，所述基于预设模型将所述第一样本图像的初始样本浅层特征，分解成至少两个目标样本浅层特征之前，所述方法还包括：
基于所述预设模型提取所述第一样本图像的浅层特征，得到第一维度的所述初始样本浅层特征；所述至少两个目标样本浅层特征各自对应的第二维度之和等于所述第一维度。
在本申请实施例中，第一维度与第二维度不同，例如，第一维度可以为64，目标样本浅层特征为四个，则第二维度可以为16。
在本申请实施例中，基于预设模型将所述第一样本图像的初始样本浅层特征，分解成至少两个目标样本浅层特征；特征的分解可以形成多通道网络结构，在保证性能的同时有效减少了模型的参数。
在本申请实施例中，预设模型中可以包括浅层特征提取网络，可以基于预设浅层特征提取网络，提取所述第一样本图像的浅层特征，得到第一维度的所述初始样本浅层特征。浅层特征提取网络可以由第一数量的卷积层组成，第一浅层特征可以为第一维度的特征，例如可以为64维的浅层特征。
S305：基于所述预设模型对样本深层特征进行分辨率增强训练，以调整所述预设模型的参数，至所述预设模型的分辨率损失值小于所述预设值；所述样本深层特征为基于对所述至少两个目标样本浅层特征进行深层特征提取得到；
在本申请实施例中，可以构建所述预设模型对应的分辨率损失函数，根据所述预设模型输出的图像的分辨率与所述第二样本图像的分辨率，确定分辨率损失值，从而对模型进行训练；其中预设值可以根据实际情况进行设置。具体的，可以采用L1范数作为模型训练的损失函数，其公式为：
Figure BDA0003691968510000111
N为一个训练批次的数量，
Figure BDA0003691968510000112
为第i张原始高分辨率图像，
Figure BDA0003691968510000113
为第i张重建的高分辨率图像，||·||1为一范数。
在本申请实施例中，如图3所示，所述基于所述预设模型对样本深层特征进行分辨率增强训练包括：
S3051：基于所述预设模型提取所述至少两个目标样本浅层特征各自对应的深层特征，得到至少两个样本深层特征；
在本申请实施例中，所述预设模型包括深层特征提取网络，所述基于所述预设模型提取所述至少两个目标样本浅层特征各自对应的深层特征，得到至少两个样本深层特征，包括：
基于所述深层特征提取网络，提取所述至少两个目标样本浅层特征各自对应的深层特征，得到至少两个样本深层特征。
在本申请实施例中，所述深层特征提取网络包括至少两个增强密集连接块，所述至少两个增强密集连接块之间密集连接，每个增强密集连接块基于预设数量的卷积层构成，所述增强密集连接块的数量与所述目标样本浅层特征的数量相同；所述方法还包括：
基于所述预设模型确定所述至少两个增强密集连接块各自对应的排序，得到连接块排序结果；
基于所述预设模型以及所述连接块排序结果，确定每个增强密集连接块对应的目标样本浅层特征。
在本申请实施例中，每个增强密集连接块对应一个目标样本浅层特征，每个特征增强块都采用密集连接有效避免梯度下降的问题。
在本申请实施例中，所述基于所述深层特征提取网络，提取所述至少两个目标样本浅层特征各自对应的深层特征，得到至少两个样本深层特征，包括：
基于每个增强密集连接块，对所述每个增强密集连接块对应的目标样本浅层特征进行深层特征提取，得到所述至少两个样本深层特征。
在本申请实施例中，深层特征提取网络由四个增强密集连接块(Enhanced DenseConnection Block，EDCB)组成；其中，每个EDCB的结构如图8所示，EDCB由多个不同的卷积网络组成，每个卷积网络输出通道的维度不同，16、24、32，……表示卷积层输出通道的维度。
在本申请实施例中，如图4所示，所述基于每个增强密集连接块，对所述每个增强密集连接块对应的目标样本浅层特征进行深层特征提取，得到所述至少两个样本深层特征，包括：
S401：将第一增强密集连接块对应的目标样本浅层特征，输入所述第一增强密集连接块，得到第一深层特征；所述第一增强密集连接块为所述至少两个增强密集连接块中排序第一位的连接块；
S403：将所述第一深层特征以及至少一个目标增强密集连接块对应的目标样本浅层特征，输入所述至少一个目标增强密集连接块，得到至少一个目标深层特征；所述目标增强密集连接块为所述至少两个增强密集连接块中，除所述第一增强密集连接块之外的连接块；
在本申请实施例中，所述增强密集连接块的数量与所述目标样本浅层特征的数量均为N个，N≥2且N为整数；所述将所述第一深层特征以及至少一个目标增强密集连接块对应的目标样本浅层特征，输入所述至少一个目标增强密集连接块，得到至少一个目标深层特征，包括：
将排序位于第M增强密集连接块之前的各个增强密集连接块输出的深层特征，以及所述第M增强密集连接块对应的目标样本浅层特征，作为所述第M特征；所述第M增强密集连接块为所述至少两个增强密集连接块中排序第M位的连接块；M＝2，……，N；M为整数；
将所述第M特征输入所述第M增强密集连接块，得到第M深层特征；
将所述第M深层特征作为所述目标深层特征。
在本申请实施例中，M、N的具体数值可以根据实际情况进行设置，例如，N可以为4，那么M为2，3，4。
在一个具体的实施例中，如图5所示，所述增强密集连接块为四个，所述将所述第一深层特征以及至少一个目标增强密集连接块对应的目标样本浅层特征，输入所述至少一个目标增强密集连接块，得到至少一个目标深层特征，可以包括：
S4031：将所述第一深层特征以及第二增强密集连接块对应的目标样本浅层特征，输入所述第二增强密集连接块，得到第二深层特征；所述第二增强密集连接块为所述至少两个增强密集连接块中排序第二位的连接块；
S4033：将所述第一深层特征、所述第二深层特征以及第三增强密集连接块对应的目标样本浅层特征，输入所述第三增强密集连接块，得到第三深层特征；所述第三增强密集连接块为所述至少两个增强密集连接块中排序第三位的连接块；
S4035：将所述第一深层特征、所述第二深层特征、所述第三深层特征以及第四增强密集连接块对应的目标样本浅层特征，输入所述第四增强密集连接块，得到第四深层特征；所述第四增强密集连接块为四个增强密集连接块中排序第四位的连接块。
在本申请实施例中，如图7所示，第i个EDCB将接收前i-1个EDCB的输出信息和浅层特征，EDCB之间通过密集连接进行信息传递，其公式表示为：
Figure BDA0003691968510000141
Figure BDA0003691968510000142
Figure BDA0003691968510000143
Figure BDA0003691968510000144
其中
Figure BDA0003691968510000145
表示第i个EDCB的操作。
在每个EDCB内部，特征信息首先通过1层输出维度为16的卷积层进行卷积操作，然后后续的卷积采用密集连接方式进行特征提取，最终采用1层维度为16的卷积层进行特征融合。
S405：将所述第一深层特征以及所述至少一个目标深层特征，确定为所述样本深层特征。
在本申请实施例中，当增强密集连接块为四个时，将所述第一深层特征、所述第二深层特征、所述第三深层特征以及第四深层特征，确定为样本深层特征。
S3053：基于所述预设模型对所述至少两个样本深层特征进行融合处理，得到样本融合特征；
在本申请实施例中，当增强密集连接块为四个时，基于所述预设模型对所述第一深层特征、所述第二深层特征、所述第三深层特征以及所述第四深层特征进行融合处理，得到样本融合特征。
在本申请实施例中，特征融合部分由2层3×3卷积层组成，其公式表示为：
Figure BDA0003691968510000151
Figure BDA0003691968510000152
其中Fu1(·)为第一层融合操作，
Figure BDA0003691968510000153
为融合后的特征信息，Fu2(·)为第二层融合操作，
Figure BDA0003691968510000154
为第二层融合后的特征信息。
S3055：基于所述预设模型对所述样本融合特征进行分辨率增强训练。
在本申请实施例中，如图6所示，所述预设模型包括残差网络和亚像素卷积网络，所述基于所述预设模型对所述样本融合特征进行分辨率增强训练，包括：
S30551：基于所述残差网络对所述样本融合特征进行恒等映射处理，得到样本处理特征；
在本申请实施例中，理想情况下，神经网络的层数越多，就越容易找到这种函数关系。随着神经网络层数的增加，可以拟合出的函数关系的范围会大大增加；随着神经网络的层数的增加，尽管可以拟合出的函数关系的范围会增大(即最后一层神经网络覆盖的面积)，但很有可能反而越来越难以拟合出最接近f*的函数。在实际的经验中，在神经网络的训练结果上体现为：随着搭建神经网络的层数的增加，错误率一开始下降，后来反而上升。且上升的错误率不仅是在测试集上，同样也在训练集上，因此这种错误和过拟合无关。
在传统神经网络的基础上，将第L-1层的输出直接叠加到第L层神经网络的输出上。即：
f(x)＝L(x)+x
此时，L层神经网络所能拟合出的函数的范围必然为第L层神经网络所能拟合出的函数的范围与第L-1层神经网络所能拟合出的函数的范围的并集。而恒等映射指的就是，当L(x)→0时，f(x)＝x；此时，L层神经网络所能拟合出的函数的范围必然能完全覆盖L-1层神经网络所能拟合出的函数的范围；而这样结构的神经网络就是残差网络。
在本申请实施例中，可以通过全局残差网络对所述样本融合特征进行恒等映射处理，得到样本处理特征；对应的公式为：
Figure BDA0003691968510000161
其中Fu为残差网络处理后特征。
S30553：基于所述亚像素卷积网络，对所述样本处理特征进行上采样训练；所述上采样用于增强所述样本处理特征的分辨率。
在本申请实施例中，在相机成像的过程中，获得的图像数据是将图像进行了离散化的处理，由于感光元件本身的能力限制，到成像面上每个像素只代表附近的颜色。例如两个感光原件上的像素之间有4.5um的间距，宏观上它们是连在一起的，微观上它们之间还有无数微小的东西存在，这些存在于两个实际物理像素之间的像素，就被称为“亚像素”。亚像素实际上应该是存在的，只是缺少更小的传感器将其检测出来而已，因此只能在软件上将其近似计算出来。根据相邻两像素之间插值情况的不同，可以调整亚像素的精度，例如四分之一，就是将每个像素从横向和纵向上当作四个像素点。这样通过亚像素插值的方法可以实现从小矩形到大矩形的映射，从而提高分辨率。
上采样就是采集模拟信号的样本。采样是将时间上、幅值上都连续的信号，在采样脉冲的作用下，转换成时间、幅值上离散的信号。所以采样又称为波形的离散化过程。
通过亚像素卷积操作进行上采样，得到重建高分辨率图像，公式表示为：
ISR＝Fupsample(Fu)
其中Fupsample(·)为亚像素卷积操作，ISR为重建高分辨率图像。
S307：将当前模型参数所对应的预设模型，作为所述图像处理模型；所述当前模型参数为分辨率损失值小于所述预设值时的模型参数。
在本申请实施例中，在训练所述图像处理模型的过程中，还可以采用验证数据对模型进行验证；在每个epoch完成后，用来测试当前模型的准确率。一个epoch表示：所有的训练数据送入网络中，完成了一次前向计算加反向传播的过程。
在本申请实施例中，在所述图像处理模型训练完成之后，还可以采用测试数据测试模型的准确率；若模型的准确率较低，则需要重新进行训练，从而保证模型的准确率。
在一个具体的实施例中，如图9所示，图9中矩形框区域为待处理图像示意图，该图像为低分辨率图像；图10为采用不同方法得到的高分辨率图像示意图；分别采用Bicubic(双三次插值网络)、SRCNN(Super-Resolution Convolutional Neural Network，超分辨卷积神经网络)、VDSR(Accurate Image Super-Resolution Using Very DeepConvolutional Networks，甚深超分辨神经网络)、LapSRN(Laplace Static RandomNetwork，拉普拉斯金子塔网络)以及本实施例中的MEDCN构建图像处理模型，采用这几种模型分别对图9进行分辨率增强处理，并对处理图像放大四倍，即可得到图10所示的图像，各个模型得到图像的分辨率分别为21.98dB、24.91dB、25.70dB、25.79dB、26.44dB；可见，采用本实施例的方法训练的MEDCN模型处理后图像的分辨率最高，图像清晰度最高。
在一个具体的实施例中，将Set5测试集(超分辨数据集)中图像放大三倍后，分别采用不同的网络训练得到的图像处理模型对应的参数如下表1所示，其中，除了SRCNN、VDSR、MEDCN，还包括FSRCNN(Fast Super-Resolution Convolutional Neural Network，超速超分辨卷积神经网络)，DRCN(Deeply-Recursive Convolutional Network，深度循环卷积神经网络)，DRRN(Deep Recursive Residual Network，深度递归残差网络)、MemNet(Deep Persistent Memory Network，深度持续记忆网络)、IDN(InformationDistillation Network，信息蒸馏网络)，可见，本实施例的MEDCN模型内存以及模型深度值并非最大值，但是其对应的PSNR最大，对应的SSIM也较高；其中，模型深度表征模型所包含的卷积层的数量；与其他基于深度学习的图像超分辨网络模型相比，可见，本实施例的MEDCN模型在模型参数及运算量较小的情况下，得到的处理后图像的分辨率、清晰度均较高。本实施例可以以较少的参数达到较好的重建性能，在客观评价指标PSNR，SSIM和主观视觉效果上均有一定的提升。
表1
方法 模型内存 模型深度 PSNR SSIM
SRCNN 8K 3 32.75 0.9090
FSRCNN 13K 8 33.18 0.9140
VDSR 666K 20 33.66 0.9213
DRCN 1774K 20 33.82 0.9226
DRRN 298K 52 34.03 0.9244
MemNet 678K 80 34.09 0.9248
IDN 553K 31 34.11 0.9253
MEDCN 665K 34 34.14 0.9243
本申请的图像处理方法可以应用医疗诊断、卫星成像、道路监测等多个不同领域。
针对现有神经网络模型参数量大，网络训练时消耗大量计算资源和时间的问题；本申请通过将浅层特征进行分组形成多通道网络，减少后续特征图数量，有效解决模型参数量大的问题。同时，本申请中的轻量级增强型密集连接块结构用来提取深层网络特征，有效避免了浅层信息在传递过程中流失，解决了网络在反向传播过程中梯度消失的问题，扩大了卷积层的感受野。在卷积神经网络中，感受野(Receptive Field)的定义是卷积神经网络每一层输出的特征图(feature map)上的像素点在输入图片上映射的区域大小。即特征图上的一个点对应输入图上的区域。此外，在特征增强块之间也通过密集连接加强浅层特征与深层特征之间的联系，降低了训练难度。
由以上本申请实施例提供的技术方案可见，本申请实施例获取分辨率小于预设阈值的待处理图像；基于图像处理模型对所述待处理图像进行分辨率增强处理，得到目标图像；其中，所述图像处理模型的训练方法包括：获取第一样本图像和第二样本图像；基于预设模型将所述第一样本图像的初始样本浅层特征，分解成至少两个目标样本浅层特征；基于所述预设模型对样本深层特征进行分辨率增强训练，以调整所述预设模型的参数，至所述预设模型的分辨率损失值小于所述预设值；所述样本深层特征为基于对所述至少两个目标样本浅层特征进行深层特征提取得到；将当前模型参数所对应的预设模型，作为所述图像处理模型；所述当前模型参数为的分辨率损失值小于所述预设值时的模型参数。本申请在模型的训练过程中，通过对图像中提取的浅层特征进行分解，再基于分解后的浅层特征提取深层特征进行模型训练，在保证模型准确率的前提下减少了模型参数，降低了模型训练过程中的计算量，提高了模型训练速度；且得到的图像处理模型能够准确识别待处理图像中的细节信息，提高了目标图像的清晰度。
本申请实施例还提供了一种图像处理装置，如图11所示，所述装置包括：
待处理图像获取模块1110，用于获取分辨率小于预设阈值的待处理图像；
图像处理模块1120，用于基于图像处理模型对所述待处理图像进行分辨率增强处理，得到目标图像；所述目标图像的分辨率大于所述待处理图像的分辨率；
样本图像获取模块1130，用于获取第一样本图像和第二样本图像；所述第一样本图像为基于对所述第二样本图像进行分辨率降低处理得到；所述第二样本图像的分辨率大于所述预设阈值；
样本浅层特征分解模块1140，用于基于预设模型将所述第一样本图像的初始样本浅层特征分解成至少两个目标样本浅层特征；
训练模块1150，用于基于所述预设模型对样本深层特征进行分辨率增强训练，以调整所述预设模型的参数，至所述预设模型的分辨率损失值小于所述预设值；所述样本深层特征为基于对所述至少两个目标样本浅层特征进行深层特征提取得到；
模型确定模块1160，用于将当前模型参数所对应的预设模型，作为所述图像处理模型；所述当前模型参数为分辨率损失值小于所述预设值时的模型参数。
在一些实施例中，所述装置还可以包括：
初始样本浅层特征提取模块，用于基于所述预设模型提取所述第一样本图像的浅层特征，得到第一维度的所述初始样本浅层特征；所述至少两个目标样本浅层特征各自对应的第二维度之和等于所述第一维度。
在一些实施例中，所述训练模块可以包括：
样本深层特征确定子模块，用于基于所述预设模型提取所述至少两个目标样本浅层特征各自对应的深层特征，得到至少两个样本深层特征；
样本融合特征确定子模块，用于基于所述预设模型对所述至少两个样本深层特征进行融合处理，得到样本融合特征；
训练子模块，用于基于所述预设模型对所述样本融合特征进行分辨率增强训练。
在一些实施例中，所述预设模型包括深层特征提取网络，所述样本深层特征确定子模块可以包括：
深层特征提取子模块，用于基于所述深层特征提取网络，提取所述至少两个目标样本浅层特征各自对应的深层特征，得到至少两个样本深层特征。
在一些实施例中，所述深层特征提取网络包括至少两个增强密集连接块，所述增强密集连接块的数量与所述目标样本浅层特征的数量相同；所述装置还可以包括：
连接块排序结果确定模块，用于基于所述预设模型确定所述至少两个增强密集连接块各自对应的排序，得到连接块排序结果；
目标样本浅层特征确定模块，用于基于所述预设模型以及所述连接块排序结果，确定每个增强密集连接块对应的目标样本浅层特征。
在一些实施例中，所述深层特征提取子模块可以包括：
深层特征提取单元，用于基于每个增强密集连接块，对所述每个增强密集连接块对应的目标样本浅层特征进行深层特征提取，得到所述至少两个样本深层特征。
在一些实施例中，所述深层特征提取单元可以包括：
第一深层特征确定子单元，用于将第一增强密集连接块对应的目标样本浅层特征，输入所述第一增强密集连接块，得到第一深层特征；所述第一增强密集连接块为所述至少两个增强密集连接块中排序第一位的连接块；
目标深层特征确定子单元，用于将所述第一深层特征以及至少一个目标增强密集连接块对应的目标样本浅层特征，输入所述至少一个目标增强密集连接块，得到至少一个目标深层特征；所述目标增强密集连接块为所述至少两个增强密集连接块中，除所述第一增强密集连接块之外的连接块；
样本深层特征确定子单元，用于将所述第一深层特征以及所述至少一个目标深层特征，确定为所述样本深层特征。
在一些实施例中，所述增强密集连接块的数量与所述目标样本浅层特征的数量均为N个，N≥2且N为整数；所述目标深层特征确定子单元可以包括：
第M特征确定子单元，用于将排序位于第M增强密集连接块之前的各个增强密集连接块输出的深层特征，以及所述第M增强密集连接块对应的目标样本浅层特征，作为所述第M特征；所述第M增强密集连接块为所述至少两个增强密集连接块中排序第M位的连接块；其中，M＝2，……，N，且M为整数；
第M深层特征确定子单元，用于将所述第M特征输入所述第M增强密集连接块，得到第M深层特征；
特征确定子单元，用于将所述第M深层特征作为所述目标深层特征。
在一些实施例中，所述预设模型包括残差网络和亚像素卷积网络，所述装置还可以包括：
在一些实施例中，所述训练子模块可以包括：
样本处理特征确定单元，用于基于所述残差网络对所述样本融合特征进行恒等映射处理，得到样本处理特征；
上采样训练单元，用于基于所述亚像素卷积网络，对所述样本处理特征进行上采样训练；所述上采样用于增强所述样本处理特征的分辨率。
所述的装置实施例中的装置与方法实施例基于同样地发明构思。
本申请实施例提供了一种图像处理设备，该设备包括处理器和存储器，该存储器中存储有至少一条指令或至少一段程序，该至少一条指令或至少一段程序由该处理器加载并执行以实现如上述方法实施例所提供的图像处理方法。
本申请的实施例还提供了一种计算机存储介质，所述存储介质可设置于终端之中以保存用于实现方法实施例中一种图像处理方法相关的至少一条指令或至少一段程序，该至少一条指令或至少一段程序由该处理器加载并执行以实现上述方法实施例提供的图像处理方法。
本申请的实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行以实现上述方法实施例提供的图像处理方法。
可选地，在本申请实施例中，存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例所述存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。
本申请实施例所提供的图像处理方法实施例可以在移动终端、计算机终端、服务器或者类似的运算装置中执行。以运行在服务器上为例，图12是本申请实施例提供的一种图像处理方法的服务器的硬件结构框图。如图12所示，该服务器1200可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(Central Processing Units，CPU)1210(中央处理器1210可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器1230，一个或一个以上存储应用程序1223或数据1222的存储介质1220(例如一个或一个以上海量存储设备)。其中，存储器1230和存储介质1220可以是短暂存储或持久存储。存储在存储介质1220的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1210可以设置为与存储介质1220通信，在服务器1200上执行存储介质1220中的一系列指令操作。服务器1200还可以包括一个或一个以上电源1260，一个或一个以上有线或无线网络接口1250，一个或一个以上输入输出接口1240，和/或，一个或一个以上操作系统1221，例如WindowsServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
输入输出接口1240可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器1200的通信供应商提供的无线网络。在一个实例中，输入输出接口1240包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，输入输出接口1240可以为射频(RadioFrequency，RF)模块，其用于通过无线方式与互联网进行通讯。
本领域普通技术人员可以理解，图12所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，服务器1200还可包括比图12中所示更多或者更少的组件，或者具有与图12所示不同的配置。
由上述本申请提供的图像处理方法、装置、设备或存储介质的实施例可见，本申请获取分辨率小于预设阈值的待处理图像；基于图像处理模型对所述待处理图像进行分辨率增强处理，得到目标图像；其中，所述图像处理模型的训练方法包括：获取第一样本图像和第二样本图像；基于预设模型将所述第一样本图像的初始样本浅层特征，分解成至少两个目标样本浅层特征；基于所述预设模型对样本深层特征进行分辨率增强训练，以调整所述预设模型的参数，至所述预设模型的分辨率损失值小于所述预设值；所述样本深层特征为基于对所述至少两个目标样本浅层特征进行深层特征提取得到；将当前模型参数所对应的预设模型，作为所述图像处理模型；所述当前模型参数为分辨率损失值小于所述预设值时的模型参数。本申请在模型的训练过程中，通过对图像中提取的浅层特征进行分解，再基于分解后的浅层特征提取深层特征进行模型训练，在保证模型准确率的前提下减少了模型参数，降低了模型训练过程中的计算量，提高了模型训练速度；且得到的图像处理模型能够准确识别待处理图像中的细节信息，提高了目标图像的清晰度。
需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备、存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (12)

1.一种图像处理方法，其特征在于，所述方法包括：
获取分辨率小于预设阈值的待处理图像；
基于图像处理模型对所述待处理图像进行分辨率增强处理，得到目标图像；所述目标图像的分辨率大于所述待处理图像的分辨率；
其中，所述图像处理模型的训练方法包括：
获取第一样本图像和第二样本图像；所述第一样本图像为基于对所述第二样本图像进行分辨率降低处理得到；
基于预设模型将所述第一样本图像的初始样本浅层特征，分解成至少两个目标样本浅层特征；
基于所述预设模型对样本深层特征进行分辨率增强训练，以调整所述预设模型的参数，至所述预设模型的分辨率损失值小于预设值；所述样本深层特征为基于对所述至少两个目标样本浅层特征进行深层特征提取得到；
将当前模型参数所对应的预设模型，作为所述图像处理模型；所述当前模型参数为分辨率损失值小于所述预设值时的模型参数。
2.根据权利要求1所述的方法，其特征在于，所述基于预设模型将所述第一样本图像的初始样本浅层特征，分解成至少两个目标样本浅层特征之前，所述方法还包括：
基于所述预设模型提取所述第一样本图像的浅层特征，得到第一维度的所述初始样本浅层特征；所述至少两个目标样本浅层特征各自对应的第二维度之和等于所述第一维度。
3.根据权利要求1所述的方法，其特征在于，所述基于所述预设模型对样本深层特征进行分辨率增强训练包括：
基于所述预设模型提取所述至少两个目标样本浅层特征各自对应的深层特征，得到至少两个样本深层特征；
基于所述预设模型对所述至少两个样本深层特征进行融合处理，得到样本融合特征；
基于所述预设模型对所述样本融合特征进行分辨率增强训练。
4.根据权利要求3所述的方法，其特征在于，所述预设模型包括深层特征提取网络，所述基于所述预设模型提取所述至少两个目标样本浅层特征各自对应的深层特征，得到至少两个样本深层特征，包括：
基于所述深层特征提取网络，提取所述至少两个目标样本浅层特征各自对应的深层特征，得到至少两个样本深层特征。
5.根据权利要求4所述的方法，其特征在于，所述深层特征提取网络包括至少两个增强密集连接块，所述增强密集连接块的数量与所述目标样本浅层特征的数量相同；所述方法还包括：
基于所述预设模型确定所述至少两个增强密集连接块各自对应的排序，得到连接块排序结果；
基于所述预设模型以及所述连接块排序结果，确定每个增强密集连接块对应的目标样本浅层特征；
所述基于所述深层特征提取网络，提取所述至少两个目标样本浅层特征各自对应的深层特征，得到至少两个样本深层特征，包括：
基于每个增强密集连接块，对所述每个增强密集连接块对应的目标样本浅层特征进行深层特征提取，得到所述至少两个样本深层特征。
6.根据权利要求5所述的方法，其特征在于，所述基于每个增强密集连接块，对所述每个增强密集连接块对应的目标样本浅层特征进行深层特征提取，得到所述至少两个样本深层特征，包括：
将第一增强密集连接块对应的目标样本浅层特征，输入所述第一增强密集连接块，得到第一深层特征；所述第一增强密集连接块为所述至少两个增强密集连接块中排序第一位的连接块；
将所述第一深层特征以及至少一个目标增强密集连接块对应的目标样本浅层特征，输入所述至少一个目标增强密集连接块，得到至少一个目标深层特征；所述目标增强密集连接块为所述至少两个增强密集连接块中，除所述第一增强密集连接块之外的连接块；
将所述第一深层特征以及所述至少一个目标深层特征，确定为所述样本深层特征。
7.根据权利要求6所述的方法，其特征在于，所述增强密集连接块的数量与所述目标样本浅层特征的数量均为N个，N≥2且N为整数；所述将所述第一深层特征以及至少一个目标增强密集连接块对应的目标样本浅层特征，输入所述至少一个目标增强密集连接块，得到至少一个目标深层特征，包括：
将排序位于第M增强密集连接块之前的各个增强密集连接块输出的深层特征，以及所述第M增强密集连接块对应的目标样本浅层特征，作为所述第M特征；所述第M增强密集连接块为所述至少两个增强密集连接块中排序第M位的连接块；其中，M＝2，……，N，且M为整数；
将所述第M特征输入所述第M增强密集连接块，得到第M深层特征；
将所述第M深层特征作为所述目标深层特征。
8.根据权利要求3所述的方法，其特征在于，所述预设模型包括残差网络和亚像素卷积网络，所述基于所述预设模型对所述样本融合特征进行分辨率增强训练，包括：
基于所述残差网络对所述样本融合特征进行恒等映射处理，得到样本处理特征；
基于所述亚像素卷积网络，对所述样本处理特征进行上采样训练；所述上采样用于增强所述样本处理特征的分辨率。
9.一种图像处理装置，其特征在于，所述装置包括：
待处理图像获取模块，用于获取分辨率小于预设阈值的待处理图像；
图像处理模块，用于基于图像处理模型对所述待处理图像进行分辨率增强处理，得到目标图像；所述目标图像的分辨率大于所述待处理图像的分辨率；
样本图像获取模块，用于获取第一样本图像和第二样本图像；所述第一样本图像为基于对所述第二样本图像进行分辨率降低处理得到；所述第二样本图像的分辨率大于所述预设阈值；
样本浅层特征分解模块，用于基于预设模型将所述第一样本图像的初始样本浅层特征分解成至少两个目标样本浅层特征；
训练模块，用于基于所述预设模型对样本深层特征进行分辨率增强训练，以调整所述预设模型的参数，至所述预设模型的分辨率损失值小于预设值；所述样本深层特征为基于对所述至少两个目标样本浅层特征进行深层特征提取得到；
模型确定模块，用于将当前模型参数所对应的预设模型，作为所述图像处理模型；所述当前模型参数为分辨率损失值小于所述预设值时的模型参数。
10.一种图像处理设备，其特征在于，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如权利要求1-8任一所述的图像处理方法。
11.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1-8任一所述的图像处理方法。
12.一种计算机程序产品，包括计算机指令，其特征在于，所述计算机指令被处理器执行时实现如权利要求1-8任一所述的图像处理方法。
CN202210667059.0A 2022-06-13 2022-06-13 图像处理方法、装置、设备及存储介质 Pending CN115115513A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210667059.0A CN115115513A (zh) 2022-06-13 2022-06-13 图像处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210667059.0A CN115115513A (zh) 2022-06-13 2022-06-13 图像处理方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115115513A true CN115115513A (zh) 2022-09-27

Family

ID=83328621

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210667059.0A Pending CN115115513A (zh) 2022-06-13 2022-06-13 图像处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115115513A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116362972A (zh) * 2023-05-22 2023-06-30 飞狐信息技术（天津）有限公司 图像处理方法、装置、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116362972A (zh) * 2023-05-22 2023-06-30 飞狐信息技术（天津）有限公司 图像处理方法、装置、电子设备及存储介质
CN116362972B (zh) * 2023-05-22 2023-08-08 飞狐信息技术（天津）有限公司 图像处理方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US10943145B2 (en) Image processing methods and apparatus, and electronic devices
CN112465828B (zh) 一种图像语义分割方法、装置、电子设备及存储介质
US11983903B2 (en) Processing images using self-attention based neural networks
CN115457531A (zh) 用于识别文本的方法和装置
CN115205150A (zh) 图像的去模糊方法、装置、设备、介质及计算机程序产品
CN113066034A (zh) 人脸图像的修复方法与装置、修复模型、介质和设备
CN110781894A (zh) 点云语义分割方法、装置及电子设备
CN109523558A (zh) 一种人像分割方法及系统
CN114612902A (zh) 图像语义分割方法、装置、设备、存储介质及程序产品
CN116977674A (zh) 图像匹配方法、相关设备、存储介质及程序产品
CN116994022A (zh) 对象检测方法、模型训练方法、装置、电子设备和介质
CN112668675B (zh) 一种图像处理方法、装置、计算机设备及存储介质
CN115115513A (zh) 图像处理方法、装置、设备及存储介质
CN111741329B (zh) 一种视频处理方法、装置、设备及存储介质
Tang et al. Medical image super-resolution with laplacian dense network
CN115773744A (zh) 模型训练和路网处理方法、装置、设备、介质和产品
CN112102398B (zh) 一种定位方法、装置、设备及存储介质
CN115439713A (zh) 模型训练方法及装置、图像分割方法、设备、存储介质
CN114170519A (zh) 基于深度学习与多维注意力的高分辨率遥感道路提取方法
CN114596203A (zh) 用于生成图像和用于训练图像生成模型的方法和装置
CN114155177A (zh) 一种图像增广方法、装置、电子设备及存储介质
CN112804446A (zh) 基于云平台大数据的大数据处理方法及装置
CN110517335B (zh) 一种动态纹理视频生成方法、装置、服务器及存储介质
CN114612901A (zh) 图像变化识别方法、装置、设备和存储介质
CN115345857A (zh) 增广样本图像的获取方法、装置、设备、介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination