CN109993712A - 图像处理模型的训练方法、图像处理方法及相关设备 - Google Patents

图像处理模型的训练方法、图像处理方法及相关设备 Download PDF

Info

Publication number
CN109993712A
CN109993712A CN201910259016.7A CN201910259016A CN109993712A CN 109993712 A CN109993712 A CN 109993712A CN 201910259016 A CN201910259016 A CN 201910259016A CN 109993712 A CN109993712 A CN 109993712A
Authority
CN
China
Prior art keywords
network
parameter
image
clarity
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910259016.7A
Other languages
English (en)
Other versions
CN109993712B (zh
Inventor
高宏运
陶鑫
賈佳亞
戴宇榮
沈小勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910259016.7A priority Critical patent/CN109993712B/zh
Publication of CN109993712A publication Critical patent/CN109993712A/zh
Priority to EP20783018.3A priority patent/EP3951702A4/en
Priority to KR1020217020255A priority patent/KR102499147B1/ko
Priority to JP2021529409A priority patent/JP7206386B2/ja
Priority to PCT/CN2020/077699 priority patent/WO2020199831A1/zh
Priority to US17/332,970 priority patent/US11741581B2/en
Application granted granted Critical
Publication of CN109993712B publication Critical patent/CN109993712B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种图像处理模型的训练方法、图像处理方法及相关设备；其中，图像处理模型至少包括第一网络和第二网络；训练方法包括：获取用于训练的样本对，样本对包括清晰图像和模糊图像；调用图像处理模型对模糊图像进行清晰度恢复处理，得到恢复图像；根据恢复图像和清晰图像更新图像处理模型中的第一网络的网络参数和/或第二网络的网络参数；第一网络的网络参数与第二网络的网络参数之间满足选择性共享条件，选择性共享条件用于指示第一网络与第二网络之间进行共享的网络参数及用于指示第一网络与第二网络之间相互独立的网络参数；本发明实施例可更好地对图像处理模型进行训练，优化图像处理模型的去模糊性能，提升模型训练效率。

Description

图像处理模型的训练方法、图像处理方法及相关设备
技术领域
本发明涉及互联网技术领域，具体涉及图像处理技术领域，尤其涉及一种图像处理模型的训练方法、一种图像处理方法、一种图像处理模型的训练装置、一种图像处理装置、一种终端及一种计算机存储介质。
背景技术
图像去模糊是一种重要的图像处理研究方向，其目标是恢复模糊图像中由于模糊而损失的细节信息。随着神经网络模型的研究推进，基于图像处理模型的图像去模糊方法取得了比传统方法更好的效果，所谓的图像处理模型是一种用于对模糊图像进行图像去模糊处理得到清晰图像的神经网络模型。如何通过模型训练得到性能完善的图像处理模型对后续图像去模糊处理的效果尤其重要。现有的模型训练方法中，通常认为模糊图像是由多个不同模糊区域构成的，通过对不同的模糊区域进行卷积模型假设以分别还原出不同区域的清晰图像，从而训练图像处理模型。具体的，需要先将模糊图像分割成不同的区域，再对不同的区域不断地进行迭代卷积核估计和图像反卷积两种操作来逐步优化每个区域的去模糊效果，最后合成去模糊后的各个区域得到完整的清晰图像。
发明人在实践中发现：由于模糊图像的真实拍摄场景十分复杂，其包括了相机运动、拍摄场景中的物体运动等多个因素，现有的模型训练方法无法满足对所有运动模糊区域的卷积模型假设，导致训练得到的图像处理模型对图像的去模糊性能较差；并且，模型训练需要对模糊图像进行先分割后分别计算再合成的处理，其模型训练效率较低。
发明内容
本发明实施例提供了一种图像处理模型的训练方法、图像处理方法及相关设备，可以更好地对图像处理模型进行训练，优化图像处理模型的去模糊性能，提升模型训练效率。
一方面，本发明实施例提供了一种图像处理模型的训练方法，所述图像处理模型至少包括第一网络和第二网络；所述第一网络对应第一尺度，所述第二网络对应第二尺度；所述方法包括：
获取用于训练的样本对，所述样本对包括清晰图像和所述清晰图像对应的模糊图像；所述清晰图像的清晰度大于预设阈值，所述模糊图像的清晰度小于所述预设阈值；
调用所述图像处理模型对所述模糊图像进行清晰度恢复处理，得到恢复图像；
根据所述恢复图像和所述清晰图像更新所述图像处理模型中的所述第一网络的网络参数和/或所述第二网络的网络参数；
其中，所述第一网络的网络参数与所述第二网络的网络参数之间满足选择性共享条件，所述选择性共享条件用于指示所述第一网络与所述第二网络之间进行共享的网络参数，及用于指示所述第一网络与所述第二网络之间相互独立的网络参数。
另一方面，本发明实施例还提供一种图像处理方法，所述方法包括：
获取待处理的原始图像，所述原始图像的清晰度小于预设阈值；
调用图像处理模型对所述原始图像进行清晰度恢复处理，得到目标图像，所述目标图像的清晰度大于所述预设阈值；其中，所述图像处理模型至少包括第一网络和第二网络；所述第一网络对应第一尺度，所述第二网络对应第二尺度；所述第一网络的网络参数与所述第二网络的网络参数之间满足选择性共享条件，所述选择性共享条件用于指示所述第一网络与所述第二网络之间进行共享的网络参数，及用于指示所述第一网络与所述第二网络之间相互独立的网络参数；
输出所述目标图像。
再一方面，本发明实施例提供了一种图像处理模型的训练装置，所述图像处理模型至少包括第一网络和第二网络；所述第一网络对应第一尺度，所述第二网络对应第二尺度；所述装置包括：
获取单元，用于获取用于训练的样本对，所述样本对包括清晰图像和所述清晰图像对应的模糊图像；所述清晰图像的清晰度大于预设阈值，所述模糊图像的清晰度小于所述预设阈值；
处理单元，用于调用所述图像处理模型对所述模糊图像进行清晰度恢复处理，得到恢复图像；
更新单元，用于根据所述恢复图像和所述清晰图像更新所述图像处理模型中的所述第一网络的网络参数和/或所述第二网络的网络参数；
其中，所述第一网络的网络参数与所述第二网络的网络参数之间满足选择性共享条件，所述选择性共享条件用于指示所述第一网络与所述第二网络之间进行共享的网络参数，及用于指示所述第一网络与所述第二网络之间相互独立的网络参数。
再一方面，本发明实施例提供了一种图像处理装置，所述装置包括：
获取单元，用于获取待处理的原始图像，所述原始图像的清晰度小于预设阈值；
处理单元，用于调用图像处理模型对所述原始图像进行清晰度恢复处理，得到目标图像，所述目标图像的清晰度大于所述预设阈值；其中，所述图像处理模型至少包括第一网络和第二网络；所述第一网络对应第一尺度，所述第二网络对应第二尺度；所述第一网络的网络参数与所述第二网络的网络参数之间满足选择性共享条件，所述选择性共享条件用于指示所述第一网络与所述第二网络之间进行共享的网络参数，及用于指示所述第一网络与所述第二网络之间相互独立的网络参数；
输出单元，用于输出所述目标图像。
再一方面，本发明实施例提供了一种终端，所述终端包括输入设备和输出设备，所述终端还包括：
处理器，适于实现一条或多条指令；以及，
计算机存储介质，所述计算机存储介质存储有一条或多条第一指令，所述一条或多条第一指令适于由所述处理器加载并执行如下步骤：
获取用于训练的样本对，所述样本对包括清晰图像和所述清晰图像对应的模糊图像；所述清晰图像的清晰度大于预设阈值，所述模糊图像的清晰度小于所述预设阈值；
调用所述图像处理模型对所述模糊图像进行清晰度恢复处理，得到恢复图像；
根据所述恢复图像和所述清晰图像更新所述图像处理模型中的所述第一网络的网络参数和/或所述第二网络的网络参数；
其中，所述第一网络的网络参数与所述第二网络的网络参数之间满足选择性共享条件，所述选择性共享条件用于指示所述第一网络与所述第二网络之间进行共享的网络参数，及用于指示所述第一网络与所述第二网络之间相互独立的网络参数。
或者，所述计算机存储介质存储有一条或多条第二指令，所述一条或多条第二指令适于由所述处理器加载并执行如下步骤：
获取待处理的原始图像，所述原始图像的清晰度小于预设阈值；
调用图像处理模型对所述原始图像进行清晰度恢复处理，得到目标图像，所述目标图像的清晰度大于所述预设阈值；其中，所述图像处理模型至少包括第一网络和第二网络；所述第一网络对应第一尺度，所述第二网络对应第二尺度；所述第一网络的网络参数与所述第二网络的网络参数之间满足选择性共享条件，所述选择性共享条件用于指示所述第一网络与所述第二网络之间进行共享的网络参数，及用于指示所述第一网络与所述第二网络之间相互独立的网络参数；
输出所述目标图像。
再一方面，本发明实施例提供了一种计算机存储介质，所述计算机存储介质存储有一条或多条第一指令，所述一条或多条第一指令适于由处理器加载并执行如下步骤：
获取用于训练的样本对，所述样本对包括清晰图像和所述清晰图像对应的模糊图像；所述清晰图像的清晰度大于预设阈值，所述模糊图像的清晰度小于所述预设阈值；
调用所述图像处理模型对所述模糊图像进行清晰度恢复处理，得到恢复图像；
根据所述恢复图像和所述清晰图像更新所述图像处理模型中的所述第一网络的网络参数和/或所述第二网络的网络参数；
其中，所述第一网络的网络参数与所述第二网络的网络参数之间满足选择性共享条件，所述选择性共享条件用于指示所述第一网络与所述第二网络之间进行共享的网络参数，及用于指示所述第一网络与所述第二网络之间相互独立的网络参数。
或者，所述计算机存储介质存储有一条或多条第二指令，所述一条或多条第二指令适于由所述处理器加载并执行如下步骤：
获取待处理的原始图像，所述原始图像的清晰度小于预设阈值；
调用图像处理模型对所述原始图像进行清晰度恢复处理，得到目标图像，所述目标图像的清晰度大于所述预设阈值；其中，所述图像处理模型至少包括第一网络和第二网络；所述第一网络对应第一尺度，所述第二网络对应第二尺度；所述第一网络的网络参数与所述第二网络的网络参数之间满足选择性共享条件，所述选择性共享条件用于指示所述第一网络与所述第二网络之间进行共享的网络参数，及用于指示所述第一网络与所述第二网络之间相互独立的网络参数；
输出所述目标图像。
本发明实施例中的图像处理模型至少包括第一尺度的第一网络和第二尺度的第二网络；由于第一网络和第二网络之间存在共享的网络参数以及独立的网络参数，这样可使得图像处理模型在对模糊图像进行清晰度恢复处理时，能够学习到模糊图像中更多的图像特征，得到较为准确的恢复图像。根据较为准确的恢复图像和清晰图像更新第一网络的网络参数和/或第二网络的网络参数，可提高训练后的图像处理模型的去模糊性能。并且，由于第一网络和第二网络之间存在共享的网络参数，这样可减少图像处理模型的参数数量，提高模型训练效率。另外，通过采用对应的清晰图像和模糊图像对图像处理模型进行端对端地训练学习，无需分割出模糊图像的各个运动模糊区域且无需对模糊图像进行任何假设，可进一步提高训练后的图像处理模型的去模糊性能及模型训练效率。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种图像处理模型的结构示意图；
图2a是本发明实施例提供的一种一阶残差函数的结构示意图；
图2b是本发明实施例提供的一种二阶残差函数对应的二阶嵌套跳跃连接结构与串联结构的对比示意图；
图2c是本发明实施例提供的一种三阶残差函数对应的三阶嵌套跳跃连接的结构示意图；
图2d是本发明实施例提供的一种特征变换单元的内部结构示意图；
图3是本发明实施例提供的一种图像处理模型的训练方法的流程示意图；
图4是本发明实施例提供的一种模糊图像的研究结果示意图；
图5a是本发明实施例提供的一种网络参数的分配示意图；
图5b是本发明实施例提供的另一种网络参数的分配示意图；
图6是本发明另一实施例提供的一种图像处理模型的训练方法的流程示意图；
图7是本发明实施例提供的一种图像处理方法的流程示意图；
图8是本发明实施例提供的一种图像处理模型的训练装置的结构示意图；
图9是本发明实施例提供的一种图像处理装置的结构示意图；
图10是本发明实施例提供的一种终端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
图像模糊是一种在图像拍摄中较为常见的问题；例如，当用户处于动态场景或者光线较暗的环境中，由于动态场景中物体的运动和/或拍摄相机的运动均会导致拍摄得到的图像出现不同程度的模糊；又如，用户在拍摄目标物体时，由于用户手部轻微的抖动，也会导致拍摄得到的图像出现不同程度的模糊，等等。虽然用户在面对拍摄得到的模糊图像时，通常会选择重新拍摄以得到清晰图像；此处的模糊图像是指清晰度小于预设阈值的图像，清晰图像是指清晰度大于预设阈值的图像；清晰度是指图像中各细部影纹及其边界的清晰程度。但是由于相机运动、物体运动以及手部抖动等各种因素，可能会导致用户进行多次重新拍摄仍无法得到清晰图像。并且，在一些瞬时抓拍的拍摄场景下，用户通常没有第二次拍摄机会；例如在高速运动的汽车/火车上拍摄窗外风景的场景中，或者在静止场景中拍摄快速运动物体的场景中，用户均没有重新拍摄的机会。基于此，本发明实施例提出了一种图像处理模型，该图像处理模型可用于对模糊图像进行清晰度恢复处理，从而得到清晰图像。
本发明实施例所提出的图像处理模型可由至少两个不同尺度的网络按照尺度从大到小的顺序或者从小到大的顺序依次串联而成，不同尺度的网络可对不同清晰度的模糊图像进行清晰度恢复处理。网络的尺度用于表征输入该网络中的图像的清晰度大小；粗尺度表示将原始的模糊图像降采样到较小的分辨率，得到清晰度较高的图像，该图像的模糊程度相对较低；而细尺度表示将原始的模糊图像降采样到较大的分辨率，得到清晰度较低的图像，该图像的模糊程度相对较高。参见图1所示(图1中以图像处理模型包括三个网络为例进行说明)，该图像处理模型可包括粗尺度网络11、中尺度网络12和细尺度网络13等三个不同尺度的网络；其中，在这三个不同尺度的网络中，粗尺度网络11的尺度最大，中尺度网络12的尺度次大，细尺度网络13的尺度最小。每个网络均为编解码网络，具体可包括多个不同通道数的特征提取单元111(如图1中的黑色单元所示)、特征变换单元112(如图1中的灰色单元所示)以及特征重建单元113(如图1中的白色单元所示)；各个单元的通道数可根据经验值或者业务需求设置，例如设置为32通道、64通道和128通道等。可选的，特征提取单元111、特征变换单元112以及特征重建单元113均可包括一个或多个卷积层，每个卷积层中可包括2个3×3的卷积核；采用2个3×3的卷积核，可降低参数量，提高模型训练速度。需要说明的是，图1只是示意性地表征图像处理模型的结构，并不对本发明实施例所提出的图像处理模型的结构进行限定；例如，图像处理模型中的网络数量并不局限于图1所示的3个，也可以是2个、4个等等；又如，每个卷积层中也可包括3个3×3的卷积核，或者1个5×5的卷积核等。
任意两个网络中的特征提取单元111的网络参数相互独立，和/或任意两个网络中的特征重建单元113的网络参数相互独立；任意两个网络中的特征变换单元112的网络参数相互共享。可选的，特征变换单元112可包括至少两个残差单元，每个残差单元可包括两个或多个卷积层；各个残差单元之间可采用多阶嵌套跳跃连接的结构进行连接。其中，一个残差单元的定义可参见式1.1所示：
xn＝xn-1+Fn(xn-1) 式1.1
其中，xn-1、xn和Fn分别表示第n个残差单元的输入，输出和残差函数；式1.1所示的式子也可称为一阶残差函数，其对应的结构如图2a所示。在本发明实施例中，假设第n-1残差单元的输入也是由另一个残差函数产生的，那么代入式1.1中，可以得到式1.2所示的二阶残差函数，其对应的二阶嵌套跳跃连接的结构可如图2b中的左侧结构示意图所示。并且，对比图2b中左右两侧的结构示意图可知，相比现有技术直接将两个残差单元串联，本发明实施例所提出的二阶嵌套跳跃连接的结构多了一个连接。
xn＝xn-2+Fn-1(xn-2)+Fn(xn-2+Fn-1(xn-2)) 式1.2
对式1.2进行扩展，还可得到式1.3所示的三阶残差函数，其对应的三阶嵌套跳跃连接的结构可如图2c所示。
xn＝xn-3+Fn-2(xn-3)+Fn-1(xn-3+Fn-2(xn-3))+Fn(xn-3+Fn-2(xn-3)+Fn-1(xn-3+Fn-2(xn-3)))式1.3
同理，可得到多阶残差函数及其对应的多阶嵌套跳跃连接的结构。多阶嵌套跳跃连接的结构可以被组合成嵌套模块以嵌入至特征变换单元中，从而改善梯度传播，降低网络参数优化的复杂度。以特征变换单元112包括4个残差单元Fi，每个残差单元包括2个卷积层，各个残差单元之间采用4阶嵌套跳跃连接的结构进行连接为例，其特征变换单元112的结构示意图可参见图2d所示，图2d为图1中的特征变换单元112的内部结构示意图。需要说明的是，图2d只是示意性地表征特征变换单元112的结构，并不对本发明实施例所提出的特征变换单元112的结构进行限定；例如，特征变换单元112中的残差单元的数量并不局限于图2d所示的4个，也可以是2个、5个等等；又如，每个残差单元中并不局限于只包括2个卷积层，也可包括3个、5个或者更多的卷积层。
针对上述的图像处理模型，本发明实施例还提供一种模型训练方案以更好地对该图像处理模型进行训练更新，优化图像处理模型的去模糊性能，提升模型训练效率。采用该模型训练方案对图像处理模型进行训练更新时，可获取成对的模糊图像和清晰图像；依次调用图像处理模型中的各个网络对用于训练的模糊图像进行清晰度恢复处理，得到恢复图像；然后根据恢复图像和清晰图像更新图像处理模型中的各个网络的网络参数。其中，每个网络在对图像进行清晰度恢复处理时，均可包括多个编码阶段和多个解码阶段(图1中以3个编码阶段和3个解码阶段为例进行说明)。在每个编码阶段中，可先调用特征提取单元111对接收到的图像进行特征提取，然后调用特征变换单元112对特征提取处理后的图像进行特征变换处理；在每个解码阶段中，可先调用特征变换单元112对接收到的图像进行特征变换处理，然后调用特征重建单元113对特征变换处理后的图像进行特征重建处理。
基于上述的描述，本发明实施例提出一种图像处理模型的训练方法；该图像处理模型的训练方法可以由终端执行，此处的终端可包括但不限于：智能终端、平板电脑、膝上计算机、台式电脑，等等。请参见图3，该图像处理模型的训练方法可包括以下步骤S301-S303：
S301，获取用于训练的样本对；样本对包括清晰图像和清晰图像对应的模糊图像。
在获取用于训练的样本对时，可采用数据驱动的方式来获取清晰图像和与该清晰图像对应的模糊图像；所谓的数据驱动的方式是指：通过叠加相机的连续多帧图像来模糊动态场景的模糊，从而得到动态场景下的模糊图像和清晰图像的方式。其中，清晰图像的清晰度大于预设阈值，模糊图像的清晰度小于预设阈值，此处的预设阈值可根据经验值或者实际的业务需求(例如对图像处理模型的去模糊性能精准度的需求)设置。通过采用数据驱动的方式获取成对的清晰图像和模糊图像，可以降低样本对的采集难度。
S302，调用图像处理模型对模糊图像进行清晰度恢复处理，得到恢复图像。
在本发明实施例中，图像处理模型至少包括第一网络和第二网络；第一网络对应第一尺度，第二网络对应第二尺度。第一尺度和第二尺度的取值不同，第一尺度的取值可大于第二尺度的取值，即第一尺度可为粗尺度，第二尺度可为细尺度。在调用图像处理模型对模糊图像进行清晰度恢复处理时，可依次调用第一网络和第二网络对模糊图像进行清晰度恢复处理从而得到恢复图像。需要说明的是，若图像处理模型还包括其他网络，例如第三网络、第四网络等，则可调用第一网络、第二网络以及其他网络对模糊图像进行清晰度恢复处理。
此处的清晰度恢复处理是指提高图像的清晰度的处理，清晰度恢复处理可包括：①对图像进行特征提取处理；具体的，可对图像进行多次卷积操作以实现对图像的特征提取处理；也可采用特征提取算法对图像进行特征提取处理，此处的特征提取算法可包括但不限于：LBP(Local Binary Patterns，局部二值模式)算法、HOG特征提取(Histogram ofOriented Gradient，方向梯度直方图)算法、SURF(Speeded Up Robust Features，加速稳健特征)算法，等等。②采用多阶残差函数对特征提取处理后的图像进行特征变换处理；这里的多阶残差函数是指阶数大于等于2的残差函数。③对特征变换处理后的图像进行特征重建处理；具体的，可对特征变换处理后的图像进行多次反卷积操作以实现对特征变换处理后的图像的特征重建处理。
S303，根据恢复图像和清晰图像更新图像处理模型中的第一网络的网络参数和/或第二网络的网络参数。
通过对动态场景中拍摄到的模糊图像(如图4左侧所示的图像)进行研究，发明人发现：在图4左侧所示的图像中，背景区域中的建筑部分图像比较清晰，而前景区域中的人群部分图像比较模糊。任意选取一个模糊的前景区域图像21和一个清晰的背景区域图像22，并在图像金字塔中对选取的这两个区域进行了分析，其分析结果可参见图4右侧所示。根据图4右侧所示的分析结果可知，对背景区域图像22进行降采样处理后，其图像边缘在降采样后依旧是清晰的；而对前景图像21进行降采样处理后，其图像边缘在降采样后会变得越来越清晰；如果为图像处理模型中不同尺度的网络分配相同的特征提取参数，那么会导致图像处理模型无法同时提取到清晰的图像特征和模糊的图像特征。因此，本发明实施例为不同尺度的网络的特征提取单元分配了不同的特征提取参数，这样可使得不同尺度的网络可以学习本尺度下的重要图像信息，从而提取出更多的不同尺度下的图像特征。
由于不同尺度的网络中的特征变换单元的特征变换功能是相似的，其目的均是将对应的模糊图像特征变换为清晰图像特征，因此本发明实施例为不同尺度的网络的特征提取单元分配了相同的特征变换参数，如图5a所示。图5a中的三行从上到下分别表示从粗尺度到细尺度的三个网络；其中，FE代表特征提取单元、T代表特征变换单元；同一种颜色代表相同的参数。进一步的，由于特征变换在不同尺度和在相同尺度下的功能相似，因此还可为同一尺度的网络中的各个特征变换单元分配相同的特征变换参数，如图5b所示；需要说明的是，图5a和图5b均只是示意性地表征各个网络的编码阶段，其解码阶段未在图5a和图5b中示出。
基于上述的描述，针对图像处理模型中的第一网络和第二网络，可以设置第一网络的网络参数与第二网络的网络参数之间满足选择性共享条件，选择性共享条件用于指示第一网络与第二网络之间进行共享的网络参数，及用于指示第一网络与第二网络之间相互独立的网络参数。具体的，网络参数包括特征提取参数及特征变换参数；选择性共享条件在用于指示第一网络和第二网络之间进行共享的网络参数时，具体用于指示第一网络的特征变换参数与第二网络的特征变换参数为进行共享的网络参数，即第一网络的特征变换参数与第二网络的特征变换参数为同一个网络参数；选择性共享条件在用于指示第一网络和第二网络之间相互独立的网络参数时，具体用于指示第一网络的特征提取参数与第二网络的特征提取参数为相互独立的网络参数，第一网络的特征提取参数与第二网络的特征提取参数为不同的网络参数。可选的，网络参数还包括特征重建参数；选择性共享条件在用于指示第一网络和第二网络之间相互独立的网络参数时，还用于指示第一网络的特征重建参数与第二网络的特征重建参数为相互独立的网络参数，即第一网络的特征重建参数与第二网络的特征重建参数为不同的网络参数。
其中，选择性共享条件在具体用于指示第一网络的特征变换参数与第二网络的特征变换参数为进行共享的网络参数时，可包括以下两种实施方式：①特征变换参数的数量大于1，则第一网络的多个特征变换参数与第二网络的多个特征变换参数为进行共享的网络参数，且第一网络中的各个特征变换参数为相互独立的网络参数，以及第二网络中的各个特征变换参数为相互独立的网络参数，如图5a右侧图像所示。②若特征变换参数的数量大于1，则第一网络的多个特征变换参数与第二网络的多个特征变换参数为进行共享的网络参数，且第一网络的各个特征变换参数为进行共享的网络参数，以及第二网络的各个特征变换参数为进行共享的网络参数，如图5b右侧图像所示。
本发明实施例中的图像处理模型至少包括第一尺度的第一网络和第二尺度的第二网络；由于第一网络和第二网络之间存在共享的网络参数以及独立的网络参数，这样可使得图像处理模型在对模糊图像进行清晰度恢复处理时，能够学习到模糊图像中更多的图像特征，得到较为准确的恢复图像。根据较为准确的恢复图像和清晰图像更新第一网络的网络参数和/或第二网络的网络参数，可提高训练后的图像处理模型的去模糊性能。并且，由于第一网络和第二网络之间存在共享的网络参数，这样可减少图像处理模型的参数数量，提高模型训练效率。另外，通过采用对应的清晰图像和模糊图像对图像处理模型进行端对端地训练学习，无需分割出模糊图像的各个运动模糊区域且无需对模糊图像进行任何假设，可进一步提高训练后的图像处理模型的去模糊性能及模型训练效率。
请参见图6，是本发明实施例提供的另一种图像处理模型的训练方法的流程示意图；该图像处理模型的训练方法可以由终端执行，此处的终端可包括但不限于：智能终端、平板电脑、膝上计算机、台式电脑，等等。请参见图6，该图像处理模型的训练方法可包括以下步骤S601-S605：
S601，获取用于训练的样本对；样本对包括清晰图像和清晰图像对应的模糊图像。
终端可获取大量的样本对，并采用这些大量的样本对图像处理模型进行后续的模型训练更新操作。在一种实施方式中，由于模糊图像的产生通常是由于拍摄时相机运动或者拍摄场景中的物体运动导致的；而其本质上都是由于相机的快门速度不够快，使得相机运动或者拍摄场景中的物体运动导致相机的传感器在快门打开到关闭的时间段内采集的不只是某个固定位置的亮度而是在该时间段内相关位置所有亮度的积分，从而导致了图像模糊。而研究表明，相关位置所有亮度的积分在相机拍摄的连续帧图像中可以近似为相邻连续图像的求和。
因此，在获取用于训练的样本对时，可以包括以下步骤：①获取用于训练的图像序列帧，该图像序列帧可通过采用运动相机(例如GoPro高速相机)和终端的高速模式采集大量的视频，并对采集到的视频进行图像帧解析得到；该视频可以是240帧每秒的高速视频，也可以是120帧每秒的高速视频，等等。②从图像序列帧中任意选取一帧图像作为清晰图像，并确定与清晰图像相关联的多帧参考图像；参考图像与清晰图像相关联是指：参考图像的帧序列号与清晰图像的帧序列号之间的差值小于预设差值。例如，清晰图像的帧序列号为5，即清晰图像是图像序列帧中的第5帧图像；设预设差值为3，则可以将图像序列帧中的第3帧图像、第4帧图像、第6帧图像以及第7帧图像均作为参考图像。③根据多帧参考图像获取清晰图像对应的模糊图像，并采用模糊图像和清晰图像构建用于训练的样本对。其中，根据多帧参考图像获取清晰图像对应的模糊图像的具体实施方式可以是：对多帧参考图像进行叠加求平均，得到清晰图像对应的模糊图像。
S602，调用图像处理模型对模糊图像进行清晰度恢复处理，得到恢复图像。
在本发明实施例中，图像处理模型至少包括第一网络和第二网络；第一网络对应第一尺度，第二网络对应第二尺度；第一尺度和第二尺度的取值不同。由前述可知，不同尺度的网络可对不同清晰度的模糊图像进行清晰度恢复处理；因此，步骤S602的具体实施方式可以是：按照第一尺度对模糊图像进行下采样处理，得到第一清晰度的模糊图像；调用第一网络对第一清晰度的模糊图像进行清晰度恢复处理，得到中间图像。具体的，第一网络可采用式1.4所示的式子对第一清晰度的模糊图像进行清晰度恢复处理。
I1＝Net1(B1；θ1,η) 式1.4
其中，Net1是第一网络进行清晰度恢复处理所采用的函数，B1表示输入至第一网络的第一清晰度的模糊图像，θ1表示第一网络中的与第二网络之间相互独立的网络参数，η表示第一网络和第二网络之间共享的网络参数；I1表示第一网络输出的中间图像。
按照第二尺度对模糊图像进行下采样处理，得到第二清晰度的模糊图像；并调用第二网络根据第二清晰度的模糊图像和中间图像进行清晰度恢复处理，得到恢复图像。具体的，第二网络可采用式1.5所示的式子根据第二清晰度的模糊图像和中间图像进行清晰度恢复处理。
I2＝Net2(B2,I1；θ2,η) 式1.5
其中，Net2是第二网络进行清晰度恢复处理所采用的函数，B2表示输入至第二网络的第二清晰度的模糊图像，I1表示第一网络输出的中间图像，θ2表示第二网络中的与第一网络之间相互独立的网络参数，η表示第一网络和第二网络之间共享的网络参数，I2表示第二网络输出的恢复图像。
需要说明的是，当图像处理模型包括至少三个网络时，可以按照图像处理模型的连接顺序，依次调用各个网络对模糊图像进行清晰度恢复处理。图像处理模型中的第一个网络可采用式1.4所示的式子进行清晰度恢复处理；而图像处理模型中除第一个网络以外的其余任一网络均可采用式1.6所示的式子进行清晰度恢复处理，最后一个网络进行清晰度恢复处理所得到的图像为恢复图像。
Ii＝Neti(Bi,Ii-1；θi,η) 式1.6
其中，Neti是第i个网络进行清晰度恢复处理所采用的函数，Bi表示输入至第i个网络的第i清晰度的模糊图像，θ2表示第i个网络中的与其他不同尺度的网络之间相互独立的网络参数，η表示各个网络之间共享的网络参数；Ii-1表示第i-1个网络输出的中间图像，Ii表示第i个网络输出的中间图像。
S603，获取图像处理模型的优化函数。
S604，根据恢复图像和清晰图像确定优化函数的值。
S605，按照减小优化函数的值的原则，更新图像处理模型中的第一网络的网络参数和/或第二网络的网络参数。
终端可采用上述步骤S601-S602得到大量的样本对的恢复图像和清晰图像，并在得到大量成对的恢复图像和清晰图像之后，执行步骤S603-S605。其中，在步骤S603-S605中，图像处理模型的优化函数可以如式1.2所示：
其中，N表示样本对的数量，和分别表示尺度i下的第k个样本对中的模糊图像和清晰图像；S表示图像处理模型中的尺度的总数，θi表示尺度i对应的网络中相互独立的网络参数，η表示共享的网络参数；Ti表示尺度i下的图像的像素点总数；Fi表示对模糊图像进行清晰度恢复处理的函数。
在获取到优化函数后，可将恢复图像和清晰图像代入优化函数中以确定优化函数的值，然后按照减小优化函数的值的原则，不断更新图像处理模型中的第一网络的网络参数和/或第二网络的网络参数，直至优化函数的值达到最小化，图像处理模型处于收敛状态。需要说明的是，图像处理模型还可包括除第一网络和第二网络的其他网络，那么在确定优化函数的值之后，还可按照减小优化函数的值的原则，不断更新图像处理模型中其他网络的网络参数。
本发明实施例中的图像处理模型至少包括第一尺度的第一网络和第二尺度的第二网络；由于第一网络和第二网络之间存在共享的网络参数以及独立的网络参数，这样可使得图像处理模型在对模糊图像进行清晰度恢复处理时，能够学习到模糊图像中更多的图像特征，得到较为准确的恢复图像。根据较为准确的恢复图像和清晰图像更新第一网络的网络参数和/或第二网络的网络参数，可提高训练后的图像处理模型的去模糊性能。并且，由于第一网络和第二网络之间存在共享的网络参数，这样可减少图像处理模型的参数数量，提高模型训练效率。另外，通过采用对应的清晰图像和模糊图像对图像处理模型进行端对端地训练学习，无需分割出模糊图像的各个运动模糊区域且无需对模糊图像进行任何假设，可进一步提高训练后的图像处理模型的去模糊性能及模型训练效率。
基于上述图像处理模型的相关描述，本发明实施例还提出一种图像处理方法；该图像处理方法可由终端执行，此处的终端可包括但不限于：智能终端、平板电脑、膝上计算机、台式电脑，等等。请参见图7，该图像处理方法可包括以下步骤S701-S703：
S701，获取待处理的原始图像。
原始图像的清晰度小于预设阈值；获取待处理的原始图像的方式可包括以下两种：
(1)主动获取待处理的原始图像。
具体的，在调用摄像组件进行图像拍摄时，若终端检测到摄像组件处于动态场景或者光线较暗的环境中，则可主动检测摄像组件所拍摄到的图像的清晰度是否小于预设阈值；若小于，则终端可以主动将该摄像组件所拍摄的图像作为待处理的原始图像。例如，终端的摄像组件在对某区域的环境情况进行拍摄时，若终端根据该区域的历史环境数据确定该区域通常存在人流走动或者车辆流动，则可认为摄像组件处于动态环境中，此时可主动检测摄像组件所拍摄到的图像的清晰度是否小于预设阈值；若小于，则终端可以主动将该摄像组件所拍摄的图像作为待处理的原始图像。又如，终端的摄像组件在进行图像拍摄时，若终端根据光感器或者摄像组件检测到摄像组件所处环境的光线低于预设光线值，则可认为摄像组件处于光线较暗的环境中，此时可主动检测摄像组件所拍摄到的图像的清晰度是否小于预设阈值；若小于，则终端可主动将该摄像组件所拍摄的图像作为待处理的原始图像。
(2)根据用户指令获取待处理的原始图像。
在一种实施方式中，终端检测到用户使用终端的拍摄组件进行图像拍摄后，可获取摄像组件所拍摄的图像，并在用户界面中显示所拍摄的图像以供用户查看。若用户发现该所拍摄的图像中不清晰，其清晰度小于预设阈值，则可以向终端输入一个图像处理指令。若终端接收到该图像处理指令，则可将该所拍摄的图像作为待处理的原始图像。再一种实施方式中，若用户发现终端图库中的一些历史图像较为模糊，其清晰度小于预设阈值，则用户也可以向终端输入图像处理指令，以触发终端获取这些历史图像作为待处理的原始图像。其中，上述所提及的图像处理指令可以是用户通过点击或者按压图像所生成的指令；也可以是用户通过按压终端上的指定按键所生成的指令；还可以是用户通过向终端输入语音而生成的指令，等等。
S702，调用图像处理模型对原始图像进行清晰度恢复处理，得到目标图像。
其中，目标图像的清晰度大于预设阈值；清晰度恢复处理包括：对图像进行特征提取处理、采用多阶残差函数对特征提取处理后的图像进行特征变换处理、以及对特征变换处理后的图像进行特征重建处理。相应的，在步骤S702的具体实施过程中，可以调用图像处理模型先对原始图像进行特征提取处理，得到特征提取处理后的第一图像；然后采用多阶残差函数对第一图像进行特征变换处理，得到特征变换处理后的第二图像；最后对第二图像进行特征重建处理，得到目标图像。
此处的图像处理模型可采用如图3或图6所示的图像处理模型的训练方法训练得到；该图像处理模型至少包括第一网络和第二网络；第一网络对应第一尺度，第二网络对应第二尺度；第一网络的网络参数与第二网络的网络参数之间满足选择性共享条件，该选择性共享条件用于指示第一网络与第二网络之间进行共享的网络参数，及用于指示第一网络与第二网络之间相互独立的网络参数。一种实施方式中，网络参数包括特征提取参数及特征变换参数；相应的，选择性共享条件在用于指示第一网络和第二网络之间进行共享的网络参数时，具体用于指示第一网络的特征变换参数与第二网络的特征变换参数为进行共享的网络参数；选择性共享条件在用于指示第一网络和第二网络之间相互独立的网络参数时，具体用于指示第一网络的特征提取参数与第二网络的特征提取参数为相互独立的网络参数。再一种实施方式中，网络参数还包括特征重建参数；相应的，选择性共享条件在用于指示第一网络和第二网络之间相互独立的网络参数时，还用于指示第一网络的特征重建参数与第二网络的特征重建参数为相互独立的网络参数。
S703，输出目标图像。
在本发明实施例中，由于图像处理模型是采用图3或图6所示的图像处理模型的训练方法训练得到的，该图像处理模型的去模糊性能性能较好；因此，调用该图像处理模型对清晰度较低的原始图像进行清晰度恢复处理，可以更好地对原始图像进行去模糊处理，从而得到较为清晰的目标图像，可提高目标图像的清晰度，进而提高目标图像的图像质量。
基于上述图像处理模型的训练方法实施例的描述，本发明实施例还公开了一种图像处理模型的训练装置；所述图像处理模型至少包括第一网络和第二网络；所述第一网络对应第一尺度，所述第二网络对应第二尺度；所述图像处理模型的训练装置可以是运行于终端中的一个计算机程序(包括程序代码)。该图像处理模型的训练装置可以执行图3或图6所示的方法。请参见图8，所述图像处理模型的训练装置可以运行如下单元：
获取单元101，用于获取用于训练的样本对，所述样本对包括清晰图像和所述清晰图像对应的模糊图像；所述清晰图像的清晰度大于预设阈值，所述模糊图像的清晰度小于所述预设阈值；
处理单元102，用于调用所述图像处理模型对所述模糊图像进行清晰度恢复处理，得到恢复图像；
更新单元103，用于根据所述恢复图像和所述清晰图像更新所述图像处理模型中的所述第一网络的网络参数和/或所述第二网络的网络参数；
其中，所述第一网络的网络参数与所述第二网络的网络参数之间满足选择性共享条件，所述选择性共享条件用于指示所述第一网络与所述第二网络之间进行共享的网络参数，及用于指示所述第一网络与所述第二网络之间相互独立的网络参数。
在一种实施方式中，所述网络参数包括特征提取参数及特征变换参数；
所述选择性共享条件在用于指示所述第一网络和所述第二网络之间进行共享的网络参数时，具体用于指示所述第一网络的特征变换参数与所述第二网络的特征变换参数为进行共享的网络参数；
所述选择性共享条件在用于指示所述第一网络和所述第二网络之间相互独立的网络参数时，具体用于指示所述第一网络的特征提取参数与所述第二网络的特征提取参数为相互独立的网络参数。
再一种实施方式中，所述网络参数还包括特征重建参数；
所述选择性共享条件在用于指示所述第一网络和所述第二网络之间相互独立的网络参数时，还用于指示所述第一网络的特征重建参数与所述第二网络的特征重建参数为相互独立的网络参数。
再一种实施方式中，所述选择性共享条件在具体用于指示所述第一网络的特征变换参数与所述第二网络的特征变换参数为进行共享的网络参数时，包括：
若所述特征变换参数的数量大于1，则所述第一网络的多个特征变换参数与所述第二网络的多个特征变换参数为进行共享的网络参数，且第一网络中的各个特征变换参数为相互独立的网络参数，以及第二网络中的各个特征变换参数为相互独立的网络参数；或者，
若所述特征变换参数的数量大于1，则所述第一网络的多个特征变换参数与所述第二网络的多个特征变换参数为进行共享的网络参数，且所述第一网络的各个特征变换参数为进行共享的网络参数，以及所述第二网络的各个特征变换参数为进行共享的网络参数。
再一种实施方式中，处理单元102在用于调用所述图像处理模型对所述模糊图像进行清晰度恢复处理，得到恢复图像时，具体用于：
按照所述第一尺度对所述模糊图像进行下采样处理，得到第一清晰度的模糊图像；
调用所述第一网络对所述第一清晰度的模糊图像进行清晰度恢复处理，得到中间图像；
按照所述第二尺度对所述模糊图像进行下采样处理，得到第二清晰度的模糊图像；
调用所述第二网络根据所述第二清晰度的模糊图像和所述中间图像进行清晰度恢复处理，得到恢复图像。
再一种实施方式中，所述清晰度恢复处理包括：对图像进行特征提取处理、采用多阶残差函数对特征提取处理后的图像进行特征变换处理、以及对特征变换处理后的图像进行特征重建处理。
再一种实施方式中，更新单元103在用于根据所述恢复图像和所述清晰图像更新所述图像处理模型中的所述第一网络的网络参数和/或所述第二网络的网络参数时，具体用于：
获取所述图像处理模型的优化函数；
根据所述恢复图像和所述清晰图像确定所述优化函数的值；
按照减小所述优化函数的值的原则，更新所述图像处理模型中的所述第一网络的网络参数和/或所述第二网络的网络参数。
再一种实施方式中，获取单元101在用于获取用于训练的样本对时，具体用于：
获取用于训练的图像序列帧，所述图像序列帧中包括至少两帧图像；
从所述图像序列帧中任意选取一帧图像作为清晰图像，并确定与所述清晰图像相关联的多帧参考图像；
根据所述多帧参考图像获取所述清晰图像对应的模糊图像，并采用所述模糊图像和所述清晰图像构建用于训练的样本对。
再一种实施方式中，获取单元101在用于根据所述多帧参考图像获取所述清晰图像对应的模糊图像时，具体用于：
对所述多帧参考图像进行叠加求平均，得到所述清晰图像对应的模糊图像。
根据本发明的一个实施例，图3或图6所示的方法所涉及的各个步骤均可以是由图8所示的图像处理模型的训练装置中的各个单元来执行的。例如，图3中所示的步骤S301-S303可以分别由图8中所示的获取单元101、处理单元102以及更新单元103来执行；又如，图6中所示的步骤S601-S602可以分别由图8中所示的获取单元101和处理单元102来执行，步骤S603-S605可由图8中所示的更新单元103来执行。
根据本发明的另一个实施例，图8所示的图像处理模型的训练装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本发明的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本发明的其它实施例中，基于图像处理模型的训练装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。
根据本发明的另一个实施例，可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图3或图6中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图8中所示的图像处理模型的训练装置设备，以及来实现本发明实施例的图像处理模型的训练方法。所述计算机程序可以记载于例如计算机可读记录介质上，并通过计算机可读记录介质装载于上述计算设备中，并在其中运行。
本发明实施例中的图像处理模型至少包括第一尺度的第一网络和第二尺度的第二网络；由于第一网络和第二网络之间存在共享的网络参数以及独立的网络参数，这样可使得图像处理模型在对模糊图像进行清晰度恢复处理时，能够学习到模糊图像中更多的图像特征，得到较为准确的恢复图像。根据较为准确的恢复图像和清晰图像更新第一网络的网络参数和/或第二网络的网络参数，可提高训练后的图像处理模型的去模糊性能。并且，由于第一网络和第二网络之间存在共享的网络参数，这样可减少图像处理模型的参数数量，提高模型训练效率。另外，通过采用对应的清晰图像和模糊图像对图像处理模型进行端对端地训练学习，无需分割出模糊图像的各个运动模糊区域且无需对模糊图像进行任何假设，可进一步提高训练后的图像处理模型的去模糊性能及模型训练效率。
基于上述图像处理方法实施例的描述，本发明实施例还公开了一种图像处理装置；所述图像处理装置可以是运行于终端中的一个计算机程序(包括程序代码)。该图像处理装置可以执行图7所示的方法。请参见图9，所述图像处理装置可以运行如下单元：
获取单元201，用于获取待处理的原始图像，所述原始图像的清晰度小于预设阈值；
处理单元202，用于调用图像处理模型对所述原始图像进行清晰度恢复处理，得到目标图像，所述目标图像的清晰度大于所述预设阈值；其中，所述图像处理模型至少包括第一网络和第二网络；所述第一网络对应第一尺度，所述第二网络对应第二尺度；所述第一网络的网络参数与所述第二网络的网络参数之间满足选择性共享条件，所述选择性共享条件用于指示所述第一网络与所述第二网络之间进行共享的网络参数，及用于指示所述第一网络与所述第二网络之间相互独立的网络参数；
输出单元203，用于输出所述目标图像。
在一种实施方式中，所述网络参数包括特征提取参数及特征变换参数；
所述选择性共享条件在用于指示所述第一网络和所述第二网络之间进行共享的网络参数时，具体用于指示所述第一网络的特征变换参数与所述第二网络的特征变换参数为进行共享的网络参数；
所述选择性共享条件在用于指示所述第一网络和所述第二网络之间相互独立的网络参数时，具体用于指示所述第一网络的特征提取参数与所述第二网络的特征提取参数为相互独立的网络参数。
再一种实施方式中，所述网络参数还包括特征重建参数；
所述选择性共享条件在用于指示所述第一网络和所述第二网络之间相互独立的网络参数时，还用于指示所述第一网络的特征重建参数与所述第二网络的特征重建参数为相互独立的网络参数。
根据本发明的一个实施例，图7所示的方法所涉及的各个步骤均可以是由图9所示的图像处理装置中的各个单元来执行的。具体的，图7中所示的步骤S701-S703可以分别由图9中所示的获取单元201、处理单元202以及输出单元203来执行。根据本发明的另一个实施例，图9所示的图像处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本发明的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本发明的其它实施例中，基于图像处理装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。根据本发明的另一个实施例，可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图7中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图9中所示的图像处理装置设备，以及来实现本发明实施例的图像处理方法。所述计算机程序可以记载于例如计算机可读记录介质上，并通过计算机可读记录介质装载于上述计算设备中，并在其中运行。
在本发明实施例中，由于图像处理模型是采用图3或图6所示的图像处理模型的训练方法训练得到的，该图像处理模型的去模糊性能性能较好；因此，调用该图像处理模型对清晰度较低的原始图像进行清晰度恢复处理，可以更好地对原始图像进行去模糊处理，从而得到较为清晰的目标图像，可提高目标图像的清晰度，进而提高目标图像的图像质量。
基于上述方法实施例以及装置实施例的描述，本发明实施例还提供一种终端。请参见图10，该终端至少包括处理器301、输入设备302、输出设备303以及计算机存储介质304。所述输入设备302中还可包括摄像组件，摄像组件可用于采集图像，所述摄像组件可以是终端出厂时配置在终端上的组件，也可以是与终端相连接的外部组件。可选的，该终端还可与其他设备相连接，以接收其他设备发送的图像。
计算机存储介质304可以存储在终端的存储器中，所述计算机存储介质304用于存储计算机程序，所述计算机程序包括程序指令，所述处理器301用于执行所述计算机存储介质304存储的程序指令。处理器301(或称CPU(Central Processing Unit，中央处理器))是终端的计算核心以及控制核心，其适于实现一条或多条指令，具体适于加载并执行一条或多条指令从而实现相应方法流程或相应功能。在一个实施例中，本发明实施例所述的处理器301可以用于对图像处理模型进行一系列的训练处理，包括：获取用于训练的样本对，所述样本对包括清晰图像和所述清晰图像对应的模糊图像；所述清晰图像的清晰度大于预设阈值，所述模糊图像的清晰度小于所述预设阈值；调用所述图像处理模型对所述模糊图像进行清晰度恢复处理，得到恢复图像；根据所述恢复图像和所述清晰图像更新所述图像处理模型中的所述第一网络的网络参数和/或所述第二网络的网络参数；其中，所述第一网络的网络参数与所述第二网络的网络参数之间满足选择性共享条件，所述选择性共享条件用于指示所述第一网络与所述第二网络之间进行共享的网络参数，及用于指示所述第一网络与所述第二网络之间相互独立的网络参数，等等。再一个实施例中，本发明实施例所述的处理器301还可以用于对原始图像进行一系列的图像处理，包括：获取待处理的原始图像，所述原始图像的清晰度小于预设阈值；调用图像处理模型对所述原始图像进行清晰度恢复处理，得到目标图像，所述目标图像的清晰度大于所述预设阈值，等等。
本发明实施例还提供了一种计算机存储介质(Memory)，所述计算机存储介质是终端中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机存储介质既可以包括终端中的内置存储介质，当然也可以包括终端所支持的扩展存储介质。计算机存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器301加载并执行的一条或多条的指令，这些指令可以是一个或多个的计算机程序(包括程序代码)。需要说明的是，此处的计算机存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器；可选的还可以是至少一个位于远离前述处理器的计算机存储介质。
在一个实施例中，可由处理器301加载并执行计算机存储介质中存放的一条或多条第一指令，以实现上述有关图像处理模型的训练实施例中的方法的相应步骤，所述图像处理模型至少包括第一网络和第二网络；所述第一网络对应第一尺度，所述第二网络对应第二尺度；具体实现中，计算机存储介质中的一条或多条第一指令由处理器301加载并执行如下步骤：
获取用于训练的样本对，所述样本对包括清晰图像和所述清晰图像对应的模糊图像；所述清晰图像的清晰度大于预设阈值，所述模糊图像的清晰度小于所述预设阈值；
调用所述图像处理模型对所述模糊图像进行清晰度恢复处理，得到恢复图像；
根据所述恢复图像和所述清晰图像更新所述图像处理模型中的所述第一网络的网络参数和/或所述第二网络的网络参数；
其中，所述第一网络的网络参数与所述第二网络的网络参数之间满足选择性共享条件，所述选择性共享条件用于指示所述第一网络与所述第二网络之间进行共享的网络参数，及用于指示所述第一网络与所述第二网络之间相互独立的网络参数。
在一种实施方式中，所述网络参数包括特征提取参数及特征变换参数；
所述选择性共享条件在用于指示所述第一网络和所述第二网络之间进行共享的网络参数时，具体用于指示所述第一网络的特征变换参数与所述第二网络的特征变换参数为进行共享的网络参数；
所述选择性共享条件在用于指示所述第一网络和所述第二网络之间相互独立的网络参数时，具体用于指示所述第一网络的特征提取参数与所述第二网络的特征提取参数为相互独立的网络参数。
再一种实施方式中，所述网络参数还包括特征重建参数；
所述选择性共享条件在用于指示所述第一网络和所述第二网络之间相互独立的网络参数时，还用于指示所述第一网络的特征重建参数与所述第二网络的特征重建参数为相互独立的网络参数。
再一种实施方式中，所述选择性共享条件在具体用于指示所述第一网络的特征变换参数与所述第二网络的特征变换参数为进行共享的网络参数时，包括：
若所述特征变换参数的数量大于1，则所述第一网络的多个特征变换参数与所述第二网络的多个特征变换参数为进行共享的网络参数，且第一网络中的各个特征变换参数为相互独立的网络参数，以及第二网络中的各个特征变换参数为相互独立的网络参数；或者，
若所述特征变换参数的数量大于1，则所述第一网络的多个特征变换参数与所述第二网络的多个特征变换参数为进行共享的网络参数，且所述第一网络的各个特征变换参数为进行共享的网络参数，以及所述第二网络的各个特征变换参数为进行共享的网络参数。
再一种实施方式中，在调用所述图像处理模型对所述模糊图像进行清晰度恢复处理，得到恢复图像时，所述一条或多条第一指令由处理器301加载并执行：
按照所述第一尺度对所述模糊图像进行下采样处理，得到第一清晰度的模糊图像；
调用所述第一网络对所述第一清晰度的模糊图像进行清晰度恢复处理，得到中间图像；
按照所述第二尺度对所述模糊图像进行下采样处理，得到第二清晰度的模糊图像；
调用所述第二网络根据所述第二清晰度的模糊图像和所述中间图像进行清晰度恢复处理，得到恢复图像。
再一种实施方式中，所述清晰度恢复处理包括：对图像进行特征提取处理、采用多阶残差函数对特征提取处理后的图像进行特征变换处理、以及对特征变换处理后的图像进行特征重建处理。
再一种实施方式中，在根据所述恢复图像和所述清晰图像更新所述图像处理模型中的所述第一网络的网络参数和/或所述第二网络的网络参数时，所述一条或多条第一指令由处理器301加载并执行：
获取所述图像处理模型的优化函数；
根据所述恢复图像和所述清晰图像确定所述优化函数的值；
按照减小所述优化函数的值的原则，更新所述图像处理模型中的所述第一网络的网络参数和/或所述第二网络的网络参数。
再一种实施方式中，在获取用于训练的样本对时，所述一条或多条第一指令由处理器301加载并执行：
获取用于训练的图像序列帧，所述图像序列帧中包括至少两帧图像；
从所述图像序列帧中任意选取一帧图像作为清晰图像，并确定与所述清晰图像相关联的多帧参考图像；
根据所述多帧参考图像获取所述清晰图像对应的模糊图像，并采用所述模糊图像和所述清晰图像构建用于训练的样本对。
再一种实施方式中，在根据所述多帧参考图像获取所述清晰图像对应的模糊图像时，所述一条或多条第一指令由处理器301加载并执行：
对所述多帧参考图像进行叠加求平均，得到所述清晰图像对应的模糊图像。
在另一个实施例中，可由处理器301加载并执行计算机存储介质中存放的一条或多条第二指令，以实现上述有关图像处理实施例中的方法的相应步骤；具体实现中，计算机存储介质中的一条或多条第二指令由处理器301加载并执行如下步骤：
获取待处理的原始图像，所述原始图像的清晰度小于预设阈值；
调用图像处理模型对所述原始图像进行清晰度恢复处理，得到目标图像，所述目标图像的清晰度大于所述预设阈值；其中，所述图像处理模型至少包括第一网络和第二网络；所述第一网络对应第一尺度，所述第二网络对应第二尺度；所述第一网络的网络参数与所述第二网络的网络参数之间满足选择性共享条件，所述选择性共享条件用于指示所述第一网络与所述第二网络之间进行共享的网络参数，及用于指示所述第一网络与所述第二网络之间相互独立的网络参数；
输出所述目标图像。
在一种实施方式中，所述网络参数包括特征提取参数及特征变换参数；
所述选择性共享条件在用于指示所述第一网络和所述第二网络之间进行共享的网络参数时，具体用于指示所述第一网络的特征变换参数与所述第二网络的特征变换参数为进行共享的网络参数；
所述选择性共享条件在用于指示所述第一网络和所述第二网络之间相互独立的网络参数时，具体用于指示所述第一网络的特征提取参数与所述第二网络的特征提取参数为相互独立的网络参数。
再一种实施方式中，所述网络参数还包括特征重建参数；
所述选择性共享条件在用于指示所述第一网络和所述第二网络之间相互独立的网络参数时，还用于指示所述第一网络的特征重建参数与所述第二网络的特征重建参数为相互独立的网络参数。
本发明实施例中的图像处理模型至少包括第一尺度的第一网络和第二尺度的第二网络；由于第一网络和第二网络之间存在共享的网络参数以及独立的网络参数，这样可使得图像处理模型在对模糊图像进行清晰度恢复处理时，能够学习到模糊图像中更多的图像特征，得到较为准确的恢复图像。根据较为准确的恢复图像和清晰图像更新第一网络的网络参数和/或第二网络的网络参数，可提高训练后的图像处理模型的去模糊性能。并且，由于第一网络和第二网络之间存在共享的网络参数，这样可减少图像处理模型的参数数量，提高模型训练效率。另外，通过采用对应的清晰图像和模糊图像对图像处理模型进行端对端地训练学习，无需分割出模糊图像的各个运动模糊区域且无需对模糊图像进行任何假设，可进一步提高训练后的图像处理模型的去模糊性能及模型训练效率。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (15)

1.一种图像处理模型的训练方法，其特征在于，所述图像处理模型至少包括第一网络和第二网络；所述第一网络对应第一尺度，所述第二网络对应第二尺度；所述方法包括：
获取用于训练的样本对，所述样本对包括清晰图像和所述清晰图像对应的模糊图像；所述清晰图像的清晰度大于预设阈值，所述模糊图像的清晰度小于所述预设阈值；
调用所述图像处理模型对所述模糊图像进行清晰度恢复处理，得到恢复图像；
根据所述恢复图像和所述清晰图像更新所述图像处理模型中的所述第一网络的网络参数和/或所述第二网络的网络参数；
其中，所述第一网络的网络参数与所述第二网络的网络参数之间满足选择性共享条件，所述选择性共享条件用于指示所述第一网络与所述第二网络之间进行共享的网络参数，及用于指示所述第一网络与所述第二网络之间相互独立的网络参数。
2.如权利要求1所述的方法，其特征在于，所述网络参数包括特征提取参数及特征变换参数；
所述选择性共享条件在用于指示所述第一网络和所述第二网络之间进行共享的网络参数时，具体用于指示所述第一网络的特征变换参数与所述第二网络的特征变换参数为进行共享的网络参数；
所述选择性共享条件在用于指示所述第一网络和所述第二网络之间相互独立的网络参数时，具体用于指示所述第一网络的特征提取参数与所述第二网络的特征提取参数为相互独立的网络参数。
3.如权利要求2所述的方法，其特征在于，所述网络参数还包括特征重建参数；
所述选择性共享条件在用于指示所述第一网络和所述第二网络之间相互独立的网络参数时，还用于指示所述第一网络的特征重建参数与所述第二网络的特征重建参数为相互独立的网络参数。
4.如权利要求2所述的方法，其特征在于，所述选择性共享条件在具体用于指示所述第一网络的特征变换参数与所述第二网络的特征变换参数为进行共享的网络参数时，包括：
若所述特征变换参数的数量大于1，则所述第一网络的多个特征变换参数与所述第二网络的多个特征变换参数为进行共享的网络参数，且第一网络中的各个特征变换参数为相互独立的网络参数，以及第二网络中的各个特征变换参数为相互独立的网络参数；或者，
若所述特征变换参数的数量大于1，则所述第一网络的多个特征变换参数与所述第二网络的多个特征变换参数为进行共享的网络参数，且所述第一网络的各个特征变换参数为进行共享的网络参数，以及所述第二网络的各个特征变换参数为进行共享的网络参数。
5.如权利要求1所述的方法，其特征在于，所述调用所述图像处理模型对所述模糊图像进行清晰度恢复处理，得到恢复图像，包括：
按照所述第一尺度对所述模糊图像进行下采样处理，得到第一清晰度的模糊图像；
调用所述第一网络对所述第一清晰度的模糊图像进行清晰度恢复处理，得到中间图像；
按照所述第二尺度对所述模糊图像进行下采样处理，得到第二清晰度的模糊图像；
调用所述第二网络根据所述第二清晰度的模糊图像和所述中间图像进行清晰度恢复处理，得到恢复图像。
6.如权利要求5所述的方法，其特征在于，所述清晰度恢复处理包括：对图像进行特征提取处理、采用多阶残差函数对特征提取处理后的图像进行特征变换处理、以及对特征变换处理后的图像进行特征重建处理。
7.如权利要求1-6任一项所述的方法，其特征在于，所述根据所述恢复图像和所述清晰图像更新所述图像处理模型中的所述第一网络的网络参数和/或所述第二网络的网络参数，包括：
获取所述图像处理模型的优化函数；
根据所述恢复图像和所述清晰图像确定所述优化函数的值；
按照减小所述优化函数的值的原则，更新所述图像处理模型中的所述第一网络的网络参数和/或所述第二网络的网络参数。
8.如权利要求1-6任一项所述的方法，其特征在于，所述获取用于训练的样本对，包括：
获取用于训练的图像序列帧，所述图像序列帧中包括至少两帧图像；
从所述图像序列帧中任意选取一帧图像作为清晰图像，并确定与所述清晰图像相关联的多帧参考图像；
根据所述多帧参考图像获取所述清晰图像对应的模糊图像，并采用所述模糊图像和所述清晰图像构建用于训练的样本对。
9.如权利要求8所述的方法，其特征在于，所述根据所述多帧参考图像获取所述清晰图像对应的模糊图像，包括：
对所述多帧参考图像进行叠加求平均，得到所述清晰图像对应的模糊图像。
10.一种图像处理方法，其特征在于，包括：
获取待处理的原始图像，所述原始图像的清晰度小于预设阈值；
调用图像处理模型对所述原始图像进行清晰度恢复处理，得到目标图像，所述目标图像的清晰度大于所述预设阈值；其中，所述图像处理模型至少包括第一网络和第二网络；所述第一网络对应第一尺度，所述第二网络对应第二尺度；所述第一网络的网络参数与所述第二网络的网络参数之间满足选择性共享条件，所述选择性共享条件用于指示所述第一网络与所述第二网络之间进行共享的网络参数，及用于指示所述第一网络与所述第二网络之间相互独立的网络参数；
输出所述目标图像。
11.如权利要求10所述的方法，其特征在于，所述网络参数包括特征提取参数及特征变换参数；
所述选择性共享条件在用于指示所述第一网络和所述第二网络之间进行共享的网络参数时，具体用于指示所述第一网络的特征变换参数与所述第二网络的特征变换参数为进行共享的网络参数；
所述选择性共享条件在用于指示所述第一网络和所述第二网络之间相互独立的网络参数时，具体用于指示所述第一网络的特征提取参数与所述第二网络的特征提取参数为相互独立的网络参数。
12.如权利要求11所述的方法，其特征在于，所述网络参数还包括特征重建参数；
所述选择性共享条件在用于指示所述第一网络和所述第二网络之间相互独立的网络参数时，还用于指示所述第一网络的特征重建参数与所述第二网络的特征重建参数为相互独立的网络参数。
13.一种图像处理模型的训练装置，其特征在于，所述图像处理模型至少包括第一网络和第二网络；所述第一网络对应第一尺度，所述第二网络对应第二尺度；所述装置包括：
获取单元，用于获取用于训练的样本对，所述样本对包括清晰图像和所述清晰图像对应的模糊图像；所述清晰图像的清晰度大于预设阈值，所述模糊图像的清晰度小于所述预设阈值；
处理单元，用于调用所述图像处理模型对所述模糊图像进行清晰度恢复处理，得到恢复图像；
更新单元，用于根据所述恢复图像和所述清晰图像更新所述图像处理模型中的所述第一网络的网络参数和/或所述第二网络的网络参数；
其中，所述第一网络的网络参数与所述第二网络的网络参数之间满足选择性共享条件，所述选择性共享条件用于指示所述第一网络与所述第二网络之间进行共享的网络参数，及用于指示所述第一网络与所述第二网络之间相互独立的网络参数。
14.一种图像处理装置，其特征在于，包括：
获取单元，用于获取待处理的原始图像，所述原始图像的清晰度小于预设阈值；
处理单元，用于调用图像处理模型对所述原始图像进行清晰度恢复处理，得到目标图像，所述目标图像的清晰度大于所述预设阈值；其中，所述图像处理模型至少包括第一网络和第二网络；所述第一网络对应第一尺度，所述第二网络对应第二尺度；所述第一网络的网络参数与所述第二网络的网络参数之间满足选择性共享条件，所述选择性共享条件用于指示所述第一网络与所述第二网络之间进行共享的网络参数，及用于指示所述第一网络与所述第二网络之间相互独立的网络参数；
输出单元，用于输出所述目标图像。
15.一种终端，包括输入设备和输出设备，其特征在于，还包括：
处理器，适于实现一条或多条指令；以及，
计算机存储介质，所述计算机存储介质存储有一条或多条第一指令，所述一条或多条第一指令适于由所述处理器加载并执行如权利要求1-9任一项所述的图像处理模型的训练方法；或者，所述计算机存储介质存储有一条或多条第二指令，所述一条或多条第二指令适于由所述处理器加载并执行如权利要求10-12任一项所述的图像处理方法。
CN201910259016.7A 2019-04-01 2019-04-01 图像处理模型的训练方法、图像处理方法及相关设备 Active CN109993712B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201910259016.7A CN109993712B (zh) 2019-04-01 2019-04-01 图像处理模型的训练方法、图像处理方法及相关设备
EP20783018.3A EP3951702A4 (en) 2019-04-01 2020-03-04 IMAGE PROCESSING MODEL LEARNING METHOD, IMAGE PROCESSING METHOD, NETWORK DEVICE AND STORAGE MEDIA
KR1020217020255A KR102499147B1 (ko) 2019-04-01 2020-03-04 이미지 처리 모델을 트레이닝하는 방법, 이미지 처리 방법, 네트워크 디바이스 및 저장 매체
JP2021529409A JP7206386B2 (ja) 2019-04-01 2020-03-04 画像処理モデルの訓練方法、画像処理方法、ネットワーク機器、及び記憶媒体
PCT/CN2020/077699 WO2020199831A1 (zh) 2019-04-01 2020-03-04 图像处理模型的训练方法、图像处理方法、网络设备及存储介质
US17/332,970 US11741581B2 (en) 2019-04-01 2021-05-27 Training method for image processing model, image processing method, network device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910259016.7A CN109993712B (zh) 2019-04-01 2019-04-01 图像处理模型的训练方法、图像处理方法及相关设备

Publications (2)

Publication Number Publication Date
CN109993712A true CN109993712A (zh) 2019-07-09
CN109993712B CN109993712B (zh) 2023-04-25

Family

ID=67131172

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910259016.7A Active CN109993712B (zh) 2019-04-01 2019-04-01 图像处理模型的训练方法、图像处理方法及相关设备

Country Status (6)

Country Link
US (1) US11741581B2 (zh)
EP (1) EP3951702A4 (zh)
JP (1) JP7206386B2 (zh)
KR (1) KR102499147B1 (zh)
CN (1) CN109993712B (zh)
WO (1) WO2020199831A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111402175A (zh) * 2020-04-07 2020-07-10 华中科技大学 一种高速扫描成像系统及方法
WO2020199831A1 (zh) * 2019-04-01 2020-10-08 腾讯科技（深圳）有限公司 图像处理模型的训练方法、图像处理方法、网络设备及存储介质
WO2021042774A1 (zh) * 2019-09-04 2021-03-11 华为技术有限公司 图像恢复方法、图像恢复网络训练方法、装置和存储介质
CN112488943A (zh) * 2020-12-02 2021-03-12 北京字跳网络技术有限公司 模型训练和图像去雾方法、装置、设备
CN112907818A (zh) * 2021-01-20 2021-06-04 广东便捷神科技股份有限公司 一种广告营销类语音信息的处理方法
CN112927144A (zh) * 2019-12-05 2021-06-08 北京迈格威科技有限公司 图像增强方法、图像增强装置、介质和电子设备
CN113139911A (zh) * 2020-01-20 2021-07-20 北京迈格威科技有限公司 图像处理方法及装置、图像处理模型的训练方法及装置
US20220017075A1 (en) * 2020-07-14 2022-01-20 Shenzhenshi Yuzhan Precision Technology Co., Ltd. Control device and method for vehicle

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114981836A (zh) * 2020-01-23 2022-08-30 三星电子株式会社 电子设备和电子设备的控制方法
US11741579B2 (en) * 2020-11-16 2023-08-29 Huawei Technologies Co., Ltd. Methods and systems for deblurring blurry images
KR20230054982A (ko) * 2021-10-18 2023-04-25 삼성전자주식회사 전자 장치 및 그 제어 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002170112A (ja) * 2000-12-04 2002-06-14 Minolta Co Ltd 解像度変換プログラムを記録したコンピュータ読取可能な記録媒体、解像度変換装置および解像度変換方法
US20160379352A1 (en) * 2015-06-24 2016-12-29 Samsung Electronics Co., Ltd. Label-free non-reference image quality assessment via deep neural network
US20170351935A1 (en) * 2016-06-01 2017-12-07 Mitsubishi Electric Research Laboratories, Inc Method and System for Generating Multimodal Digital Images
CN108399362A (zh) * 2018-01-24 2018-08-14 中山大学 一种快速行人检测方法及装置
CN108509986A (zh) * 2018-03-16 2018-09-07 上海海事大学 基于模糊不变卷积神经网络的飞机目标识别方法
CN108629743A (zh) * 2018-04-04 2018-10-09 腾讯科技（深圳）有限公司 图像的处理方法、装置、存储介质和电子装置
CN109360171A (zh) * 2018-10-26 2019-02-19 北京理工大学 一种基于神经网络的视频图像实时去模糊方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI405147B (zh) * 2010-03-16 2013-08-11 Novatek Microelectronics Corp 單張影像的階層式去動態模糊方法
CN108846820A (zh) * 2018-07-10 2018-11-20 深圳市唯特视科技有限公司 一种基于尺度递归网络的深度图像去模糊方法
CN109993712B (zh) * 2019-04-01 2023-04-25 腾讯科技（深圳）有限公司 图像处理模型的训练方法、图像处理方法及相关设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002170112A (ja) * 2000-12-04 2002-06-14 Minolta Co Ltd 解像度変換プログラムを記録したコンピュータ読取可能な記録媒体、解像度変換装置および解像度変換方法
US20020114534A1 (en) * 2000-12-04 2002-08-22 Kyoko Nakamura Computer-readable recording medium storing resolution converting program, resolution converting device and resolution converting method
US20160379352A1 (en) * 2015-06-24 2016-12-29 Samsung Electronics Co., Ltd. Label-free non-reference image quality assessment via deep neural network
US20170351935A1 (en) * 2016-06-01 2017-12-07 Mitsubishi Electric Research Laboratories, Inc Method and System for Generating Multimodal Digital Images
CN108399362A (zh) * 2018-01-24 2018-08-14 中山大学 一种快速行人检测方法及装置
CN108509986A (zh) * 2018-03-16 2018-09-07 上海海事大学 基于模糊不变卷积神经网络的飞机目标识别方法
CN108629743A (zh) * 2018-04-04 2018-10-09 腾讯科技（深圳）有限公司 图像的处理方法、装置、存储介质和电子装置
CN109360171A (zh) * 2018-10-26 2019-02-19 北京理工大学 一种基于神经网络的视频图像实时去模糊方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
HONGYUN GAO 等: "Dynamic Scene Deblurring With Parameter Selective Sharing and Nested Skip Connections", 《2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
SEUNGJUN NAH 等: "Deep Multi-scale Convolutional Neural Network for Dynamic Scene Deblurring", 《ARXIV》 *
XIN TAO 等: "Scale-recurrent Network for Deep Image Deblurring", 《ARXIV》 *
王俊茜: "基于多任务联合监督学习的行人再识别研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
程旭 等: "基于多损失的生成式对抗目标跟踪算法", 《东南大学学报(自然科学版)》 *
薛迪秀: "基于卷积神经网络的医学图像癌变识别研究", 《中国博士学位论文全文数据库 信息科技辑》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11741581B2 (en) 2019-04-01 2023-08-29 Tencent Technology (Shenzhen) Company Limited Training method for image processing model, image processing method, network device, and storage medium
WO2020199831A1 (zh) * 2019-04-01 2020-10-08 腾讯科技（深圳）有限公司 图像处理模型的训练方法、图像处理方法、网络设备及存储介质
WO2021042774A1 (zh) * 2019-09-04 2021-03-11 华为技术有限公司 图像恢复方法、图像恢复网络训练方法、装置和存储介质
CN112927144A (zh) * 2019-12-05 2021-06-08 北京迈格威科技有限公司 图像增强方法、图像增强装置、介质和电子设备
CN113139911A (zh) * 2020-01-20 2021-07-20 北京迈格威科技有限公司 图像处理方法及装置、图像处理模型的训练方法及装置
CN111402175A (zh) * 2020-04-07 2020-07-10 华中科技大学 一种高速扫描成像系统及方法
CN111402175B (zh) * 2020-04-07 2022-04-08 华中科技大学 一种高速扫描成像系统及方法
US11801830B2 (en) * 2020-07-14 2023-10-31 Fulian Yuzhan Precision Technology Co., Ltd Control device and method for vehicle
US20220017075A1 (en) * 2020-07-14 2022-01-20 Shenzhenshi Yuzhan Precision Technology Co., Ltd. Control device and method for vehicle
CN112488943A (zh) * 2020-12-02 2021-03-12 北京字跳网络技术有限公司 模型训练和图像去雾方法、装置、设备
CN112488943B (zh) * 2020-12-02 2024-02-02 北京字跳网络技术有限公司 模型训练和图像去雾方法、装置、设备
CN112907818B (zh) * 2021-01-20 2022-06-24 广东便捷神科技股份有限公司 一种广告营销类语音信息的处理方法
CN112907818A (zh) * 2021-01-20 2021-06-04 广东便捷神科技股份有限公司 一种广告营销类语音信息的处理方法

Also Published As

Publication number Publication date
KR20210095936A (ko) 2021-08-03
US11741581B2 (en) 2023-08-29
US20210287047A1 (en) 2021-09-16
WO2020199831A1 (zh) 2020-10-08
KR102499147B1 (ko) 2023-02-10
CN109993712B (zh) 2023-04-25
JP7206386B2 (ja) 2023-01-17
EP3951702A4 (en) 2022-06-08
EP3951702A1 (en) 2022-02-09
JP2022510622A (ja) 2022-01-27

Similar Documents

Publication Publication Date Title
CN109993712A (zh) 图像处理模型的训练方法、图像处理方法及相关设备
Oh et al. Crowd counting with decomposed uncertainty
CN112308200B (zh) 神经网络的搜索方法及装置
CN111898701B (zh) 模型训练、帧图像生成、插帧方法、装置、设备及介质
US20150131898A1 (en) Blind image deblurring with cascade architecture
CN110070511A (zh) 图像处理方法和装置、电子设备及存储介质
CN111402130B (zh) 数据处理方法和数据处理装置
Joshi et al. A learning-based method for image super-resolution from zoomed observations
CN111914997B (zh) 训练神经网络的方法、图像处理方法及装置
CN116152591B (zh) 模型训练方法、红外小目标检测方法、装置及电子设备
CN113673545A (zh) 光流估计方法、相关装置、设备及计算机可读存储介质
CN111833360B (zh) 一种图像处理方法、装置、设备以及计算机可读存储介质
CN110958469A (zh) 视频处理方法、装置、电子设备及存储介质
CN116547694A (zh) 用于对模糊图像去模糊的方法和系统
CN112529776A (zh) 图像处理模型的训练方法、图像处理方法及装置
CN113095470A (zh) 神经网络的训练方法、图像处理方法及装置、存储介质
Zhang et al. Deep motion blur removal using noisy/blurry image pairs
Rasheed et al. LSR: Lightening super-resolution deep network for low-light image enhancement
Yang et al. SRDN: A unified super-resolution and motion deblurring network for space image restoration
CN117237756A (zh) 一种训练目标分割模型的方法、目标分割方法及相关装置
CN116597144A (zh) 一种基于事件相机的图像语义分割方法
CN111861877A (zh) 视频超分变率的方法和装置
CN115205148A (zh) 基于双路径残差网络的图像去模糊方法
CN110489584B (zh) 基于密集连接的MobileNets模型的图像分类方法及系统
Jia et al. Learning Rich Information for Quad Bayer Remosaicing and Denoising

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant