CN113012064B - 图像处理方法、装置、设备及存储介质 - Google Patents

图像处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113012064B
CN113012064B CN202110261840.3A CN202110261840A CN113012064B CN 113012064 B CN113012064 B CN 113012064B CN 202110261840 A CN202110261840 A CN 202110261840A CN 113012064 B CN113012064 B CN 113012064B
Authority
CN
China
Prior art keywords
image
sample image
sample
feature
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110261840.3A
Other languages
English (en)
Other versions
CN113012064A (zh
Inventor
张凯皓
罗文寒
刘威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110261840.3A priority Critical patent/CN113012064B/zh
Publication of CN113012064A publication Critical patent/CN113012064A/zh
Application granted granted Critical
Publication of CN113012064B publication Critical patent/CN113012064B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本申请提供了一种图像处理方法、装置、设备及存储介质，属于计算机技术领域。方法包括：调用图像处理模型中的特征提取网络，对第一样本图像和第二样本图像分别进行特征提取，得到第一样本图像特征和第二样本图像特征；调用图像处理模型中的图像重构网络，对任一样本图像特征进行图像重构，得到第三样本图像；基于第三样本图像与第一样本图像之间的第一相似度，以及第一样本图像特征与第二样本图像特征之间的第二相似度，训练图像处理模型；调用图像处理模型，对任一图像进行去模糊处理。上述方法使得模型能够基于两种清晰度不同的图像，学会从图像中提取不受模糊影响的图像特征，基于该图像特征重构更清晰的图像，提高了模型的去模糊效果。

Description

图像处理方法、装置、设备及存储介质
技术领域
本申请涉及计算机技术领域，特别涉及一种图像处理方法、装置、设备及存储介质。
背景技术
在日常生活当中的很多场景下需要使用电子设备拍摄图像，在进行拍摄时，常常因为电子设备抖动或者被拍摄物体的运动而导致拍摄出来的图像模糊，达不到用户对图像的清晰度要求。在此情况下，可以将拍摄的模糊图像输入到图像处理模型，通过图像处理模型对该模糊图像进行去模糊处理，以得到清晰的图像。然而，相关技术中的图像处理模型的去模糊效果差。
发明内容
本申请实施例提供了一种图像处理方法、装置、设备及存储介质，能够提高图像处理模型的去模糊效果。所述技术方案如下：
一方面，提供了一种图像处理方法，所述方法包括：
调用图像处理模型中的特征提取网络，对第一样本图像和第二样本图像分别进行特征提取，得到第一样本图像特征和第二样本图像特征，所述第一样本图像与所述第二样本图像包含的内容相同，且所述第一样本图像的清晰度大于所述第二样本图像的清晰度；
调用所述图像处理模型中的图像重构网络，对得到的任一样本图像特征进行图像重构，得到第三样本图像；
基于所述第三样本图像与所述第一样本图像之间的第一相似度，以及所述第一样本图像特征与所述第二样本图像特征之间的第二相似度，训练所述图像处理模型；
调用训练后的所述图像处理模型，对任一图像进行去模糊处理。
在一种可能的实现方式中，所述调用训练后的所述图像处理模型，对任一图像进行去模糊处理，包括：
调用所述特征提取网络，对第一目标图像进行特征提取，得到第一目标图像特征；
调用所述图像重构网络，对所述第一目标图像特征进行图像重构，得到第二目标图像。
在一种可能的实现方式中，所述特征提取网络包括第一特征提取层和第二特征提取层，所述调用所述特征提取网络，对第一目标图像进行特征提取，得到第一目标图像特征，包括：
调用所述第一特征提取层，对所述第一目标图像进行特征提取，得到第二目标图像特征；
调用所述第二特征提取层，对所述第二目标图像特征进行去噪处理，得到所述第一目标图像特征。
在一种可能的实现方式中，所述调用所述图像重构网络，对所述第一目标图像特征进行图像重构，得到第二目标图像，包括：
调用所述图像重构网络，对所述第一目标图像特征进行等比例的图像重构，得到所述第二目标图像，所述第二目标图像与所述第一目标图像的尺寸相等。
另一方面，提供了一种图像处理装置，所述装置包括：
特征提取模块，用于调用图像处理模型中的特征提取网络，对第一样本图像和第二样本图像分别进行特征提取，得到第一样本图像特征和第二样本图像特征，所述第一样本图像与所述第二样本图像包含的内容相同，且所述第一样本图像的清晰度大于所述第二样本图像的清晰度；
图像重构模块，用于调用所述图像处理模型中的图像重构网络，对得到的任一样本图像特征进行图像重构，得到第三样本图像；
模型训练模块，用于基于所述第三样本图像与所述第一样本图像之间的第一相似度，以及所述第一样本图像特征与所述第二样本图像特征之间的第二相似度，训练所述图像处理模型；
模糊处理模块，用于调用训练后的所述图像处理模型，对任一图像进行去模糊处理。
在一种可能的实现方式中，所述特征提取网络包括第一特征提取层和第二特征提取层，所述特征提取模块，用于调用所述第一特征提取层，对所述第一样本图像和所述第二样本图像分别进行特征提取，得到第三样本图像特征和第四样本图像特征；在所述第三样本图像特征和所述第四样本图像特征中分别加入噪声；调用所述第二特征提取层，对加入噪声后的所述第三样本图像特征和所述第四样本图像特征分别进行去噪处理，得到所述第一样本图像特征和所述第二样本图像特征。
在一种可能的实现方式中，所述模型训练模块，包括：
总相似度确定单元，用于确定总相似度，所述总相似度为所述第一相似度与所述第二相似度的和；
模型训练单元，用于基于所述总相似度，训练所述图像处理模型。
在一种可能的实现方式中，所述模型训练单元，包括：
损失值确定子单元，用于基于所述总相似度，确定所述图像处理模型的损失值，所述损失值与所述总相似度呈负相关关系；
参数调整子单元，用于调整所述图像处理模型的参数，以使基于调整后的所述图像处理模型获取的所述损失值变小。
在一种可能的实现方式中，所述损失值确定子单元，用于将目标参数与所述损失值的和值确定为所述整体损失值。
在一种可能的实现方式中，所述损失值确定子单元，用于将所述任一样本图像特征的泛数与所述总相似度的和值确定为所述损失值，所述泛数表示所述任一样本图像特征的大小。
在一种可能的实现方式中，所述第一样本图像与所述第二样本图像的尺寸相等，所述图像重构模块，用于调用所述图像重构网络，对所述任一样本图像特征进行等比例的图像重构，得到所述第三样本图像，所述第三样本图像与所述第一样本图像的尺寸相等。
在一种可能的实现方式中，所述模糊处理模块，包括：
特征提取单元，用于调用所述特征提取网络，对第一目标图像进行特征提取，得到第一目标图像特征；
图像重构单元，用于调用所述图像重构网络，对所述第一目标图像特征进行图像重构，得到第二目标图像。
在一种可能的实现方式中，所述特征提取网络包括第一特征提取层和第二特征提取层，所述特征提取单元，用于调用所述第一特征提取层，对所述第一目标图像进行特征提取，得到第二目标图像特征；调用所述第二特征提取层，对所述第二目标图像特征进行去噪处理，得到所述第一目标图像特征。
在一种可能的实现方式中，所述图像重构单元，用于调用所述图像重构网络，对所述第一目标图像特征进行等比例的图像重构，得到所述第二目标图像，所述第二目标图像与所述第一目标图像的尺寸相等。
另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条计算机程序，所述计算机程序由所述处理器加载并执行以实现上述任一种可能实现方式中的图像处理方法中执行的操作。
另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条计算机程序，所述计算机程序由处理器加载并执行以实现上述任一种可能实现方式中的图像处理方法中执行的操作。
再一方面，提供了一种计算机程序产品或计算机程序，所述计算机程序产品或所述计算机程序包括计算机程序，所述计算机程序存储在计算机可读存储介质中。计算机设备的处理器从所述计算机可读存储介质读取所述计算机程序，所述处理器执行所述计算机程序，使得所述计算机设备执行上述各种可选实现方式中的图像处理方法中执行的操作。
本申请实施例提供的技术方案带来的有益效果至少包括：
在本申请实施例中，由于第一样本图像和第二样本图像包含的内容相同，但清晰度不同，因此在训练图像处理模型时，调用图像处理模型对这两种图像分别进行特征提取，使得模型能够基于提取的两种图像特征之间的相似度，以及提取的特征转换出的图像与第一样本图像的相似度，调整从图像中提取的特征，从而能够学会从图像中提取不受模糊影响的图像特征，因此，基于该图像特征转换出的图像更为清晰，提高了图像处理模型的去模糊效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种实施环境的示意图；
图2是本申请实施例提供的一种图像处理方法的流程图；
图3是本申请实施例提供的一种图像处理方法的流程图；
图4是本申请实施例提供的一种图像处理模型的结构示意图；
图5是本申请实施例提供的一种图像处理方法的流程图；
图6是本申请实施例提供的一种图像处理装置的框图；
图7是本申请实施例提供的一种图像处理装置的框图；
图8是本申请实施例提供的一种终端的结构示意图；
图9是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
本申请所使用的术语“第一”、“第二”、“第三”、“第四”等可在本文中用于描述各种概念，但除非特别说明，这些概念不受这些术语限制。这些术语仅用于将一个概念与另一个概念区分。举例来说，在不脱离本申请的范围的情况下，可以将第一样本图像称为样本图像，且类似地，可将第二样本图像称为第一样本图像。
本申请所使用的术语“至少一个”、“多个”、“每个”、“任一”，至少一个包括一个、两个或两个以上，多个包括两个或两个以上，而每个是指对应的多个中的每一个，任一是指多个中的任意一个。举例来说，多个样本图像包括3个样本图像，而每个是指这3个样本图像中的每一个样本图像，任一是指这3个样本图像中的任意一个，可以是第一个，可以是第二个、也可以是第三个。
图1是本申请实施例提供的一种实施环境的示意图。参见图1，该实施环境包括终端101和服务器102。终端101和服务器102之间通过无线或者有线网络连接。可选地，终端101为智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、车载终端、摄像机、照相机或者其他终端。可选地，服务器102是独立的物理服务器，或者是多个物理服务器构成的服务器集群或者分布式系统，或者是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。
可选地，终端101上安装由服务器102提供服务的目标应用，终端101能够通过该目标应用实现例如数据传输、消息交互等功能。可选地，目标应用为终端101操作系统中的目标应用，或者为第三方提供的目标应用。该目标应用具有图像处理的功能，例如，对图像进行去模糊处理，当然，该目标应用还能够具有其他功能，本申请对此不做限制。可选地，该目标应用为短视频应用、拍照应用、游戏应用、购物应用、聊天应用或者其他应用。
本申请实施例中，终端101或者服务器102用于训练图像处理模型，通过训练后的图像处理模型，对图像进行去模糊处理。例如，终端101或者服务器102训练得到图像处理模型后，将该图像处理模型进行分享，则终端101和服务器102都能够通过图像处理模型对图像进行去模糊处理。或者，服务器102训练得到图像处理模型后，不将图像处理模型分享给终端101，终端101将需要处理的图像上传服务器102，由服务器102对图像进行去模糊处理后，返回给终端。
需要说明的是，本申请实施例仅以实施环境中包括终端101和服务器102为例进行说明，在其他实施例中，实施环境中仅包括终端101或者服务器102。
本申请中的图像处理方法能够应用在对图像进行去模糊处理的场景下。任何计算机设备都能够通过本申请提供的方法来对图像处理模型进行训练，并且能够基于训练后的图像处理模型对任何类型的图像进行去模糊处理。例如，当用户通过手机拍摄了比较模糊的图像时，将该图像上传到服务器中，服务器通过本申请提供的方法对该图像进行去模糊处理后，将去模糊处理后的图像发送到该手机中。或者，用户通过手机拍摄了比较模糊的图像时，该手机采用本申请提供的方法对该图像进行去模糊处理。或者，当用户通过照相机拍摄了一张图像，但该图像较为模糊时，用户将该图像上传到手机中，手机采用本申请提供的方法对该图像进行去模糊处理。或者，照相机中存储有通过本申请提供的方法训练得到的图像处理模型，当用户通过照相机拍摄得到一张模糊的图像时，照相机直接通过该图像处理模型对该图像进行去模糊处理。
图2是本申请实施例提供的一种图像处理方法的流程图。该实施例主要描述图像处理模型的训练过程，该实施例以执行主体为终端为例进行说明，参见图2，该实施例包括：
201、终端调用图像处理模型中的特征提取网络，对第一样本图像和第二样本图像分别进行特征提取，得到第一样本图像特征和第二样本图像特征。
其中，第一样本图像与第二样本图像包含的内容相同，且第一样本图像的清晰度大于第二样本图像的清晰度。这两张样本图像中包含的图像内容为任意内容，例如，两张图像中都包含了在同一视角下的同一建筑，或者两张样本图像都包含了在同一视角下的同一动物等。这两张样本图像差别只在于清晰程度不同，例如，第一样本图像中的建筑物是清晰可见的，而第二样本图像中的该建筑物则比较模糊。
图像特征用于对图像进行描述。从图像特征的特征种类来讲，图像特征包括图像的颜色特征、纹理特征、形状特征和空间关系特征中的至少一种。颜色特征描述图像所对应的景物的表面颜色。纹理特征描述图像所对应景物的表面纹理。形状特征描述图像所对应景物的形状，例如，图像所对应景物的轮廓。空间关系特征描述图像中分割出来的多个区域之间的相互的空间位置关系，例如邻接关系、重叠关系和包含关系等。从图像特征的形式上来讲，图像特征为特征向量，该特征向量具有方向和大小。样本图像特征是从样本图像中提取的图像特征，第一样本图像特征是从第一样本图像中提取的图像特征，第二样本图像特征是从第二样本图像中提取的图像特征。
图像处理模型的功能是对图像进行去模糊处理，使图像变的更加清晰。图像处理模型包括特征提取网络，特征提取网络用于从图像中提取图像特征。图像处理模型能够基于该图像特征恢复出更加清晰的图像。
202、终端调用图像处理模型中的图像重构网络，对得到的任一样本图像特征进行图像重构，得到第三样本图像。
除了特征提取网络外，图像处理模型还包括图像重构网络，图像重构网络用于将提取的图像特征重构成图像。第三样本图像是图像重构网络基于第一样本图像特征或第二样本图像特征所重构出的图像。
203、终端基于第三样本图像与第一样本图像之间的第一相似度，以及第一样本图像特征与第二样本图像特征之间的第二相似度，训练图像处理模型。
其中，由于第一样本图像是较为清晰的图像，而第三样本图像是图像处理模型重构出的图像，即去模糊处理后的图像，因此，第三样本图像与第一样本图像之间的第一相似度能够说明图像处理模型对图像的去模糊效果。第一相似度越大，说明图像处理模型的去模糊效果越好。相反，第一相似度越小，说明图像处理模型的去模糊效果越差。
并且，由于第一样本图像特征和第二样本图像特征是分别从较为清晰的第一样本图像以及较为模糊的第二样本图像中提取的图像特征，因此，第二相似度能够说明图像处理模型从较为模糊的图像中提取图像特征时，受到图像模糊影响的程度。第二相似度越大，说明图像处理模型提取图像特征时，受到图像模糊影响的程度越小，提取的图像特征更加准确。相反，第二相似度越小，则说明图像处理模型提取图像特征时，受到图像模糊影响的程度越大，提取的图像特征越不准确。
因此，本申请实施例将第一相似度和第二相似度作为模型训练的约束信息，通过训练图像处理模型而使第一相似度和第二相似度变大，能够达到提高模型去模糊效果的目的。
需要说明的一点是，如果仅对较为模糊的第二样本图像进行特征提取，并且将第一相似度来作为模型训练的约束信息，则图像处理模型仅仅能够基于较为模糊的图像来学习特征提取，之后，当训练好的图像处理模型投放线上使用时，由于真实环境下的图像与训练用的样本图像的差别，该图像处理模型会出现泛化能力差的问题，也即是，图像处理模型在真实环境下的去模糊效果达不到训练效果。而本申请实施例中不仅要对较为模糊的第二样本图像进行特征提取，还要对较为清晰的第一样本图像进行特征提取，之后，将第二相似度与第一相似度一起作为模型训练的约束信息，则图像处理模型能够对两种图像进行学习，调整提取的图像特征，从而能够从图像中提取不受模糊影响的图像特征，之后，当训练后的图像处理模型投放到线上的真实环境使用时，即使真实环境下的图像与训练用的样本图像存在差别，图像处理模型也能够从图像中提取不受模糊影响的图像特征，基于该图像特征来重构出清晰的图像，因此，图像处理模型的泛化能力更强，去模糊效果更好。
204、终端调用训练后的图像处理模型，对任一图像进行去模糊处理。
在本申请实施例中，由于第一样本图像和第二样本图像包含的内容相同，但清晰程度不同，因此在训练图像处理模型时，调用图像处理模型对这两种图像分别进行特征提取，使得模型能够基于提取的两种图像特征之间的相似度，以及提取的特征重构出的图像与第一样本图像的相似度，调整从图像中提取的特征，从而能够学会从图像中提取不受模糊影响的图像特征，因此，基于该图像特征重构出的图像更为清晰，提高了图像处理模型的去模糊效果。
图3是本申请实施例提供的一种图像处理方法的流程图。该实施例主要描述图像处理模型的训练过程，该实施例以执行主体为终端为例进行说明，参见图3，该实施例包括：
301、终端调用图像处理模型中的特征提取网络，对第一样本图像和第二样本图像分别进行特征提取，得到第一样本图像特征和第二样本图像特征。
在一种可能的实现方式中，终端调用图像处理模型中的特征提取网络，对第一样本图像和第二样本图像分别进行特征提取，得到第一样本图像特征和第二样本图像特征，包括：终端将第一样本图像和第二样本图像分别输入到特征提取网络中，特征提取网络从第一样本图像中提取第一样本图像特征，从第二样本图像中提取第二样本图像特征，输出第一样本图像特征和第二样本图像特征，终端获取特征提取网络输出的第一样本图像特征和第二样本图像特征。
在一种可能的实现方式中，特征提取网络包括第一特征提取层和第二特征提取层，相应的，终端调用特征提取网络，对第一样本图像和第二样本图像分别进行特征提取，得到第一样本图像特征和第二样本图像特征，包括：终端调用第一特征提取层，对第一样本图像和第二样本图像分别进行特征提取，得到第三样本图像特征和第四样本图像特征；终端在第三样本图像特征和第四样本图像特征中分别加入噪声；终端调用第二特征提取层，对加入噪声后的第三样本图像特征和第四样本图像特征分别进行去噪处理，得到第一样本图像特征和第二样本图像特征。
本申请中的噪声是指图像的噪声，即存在于图像数据中的不必要的或多余的干扰信息，图像中各种妨碍人们对其信息接受的因素则能够称为图像的噪声。例如，高斯噪声，泊松噪声，乘性噪声，椒盐噪声等。可选地，终端在第三样本图像特征和第四样本图像特征中添加的噪声包括高斯噪声、泊松噪声、乘性噪声或椒盐噪声中的至少一种，当然，在第三样本图像特征和第四样本图像特征中添加的噪声还能够包括其他类型的噪声，本申请实施例对此不做限制。
第二特征提取层用于去除第三样本图像特征和第四样本图像特征中的噪声。需要说明的一点是，第二特征提取层并不是只用于去除终端主动添加到第三样本图像特征和第四样本图像特征中的噪声，实际上，由于样本图像的拍摄或者其他原因，第一样本图像中可能本身就携带有噪声，从而导致第三样本图像特征和第四样本图像特征中包含该噪声。或者，在终端对样本图像进行特征提取的过程中，由于终端中电子元器件和电路结构的影响，也可能在第三样本图像特征和第四样本图像特征中引入噪声。因此，第二特征提取层实际上还用于去除由于其他因素而包含在第三样本图像特征和第四样本图像特征中的噪声。
在本申请实施例中，考虑到后续使用图像处理模型对图像进行去模糊处理时，由于图像本身携带有噪声或者终端的处理操作等原因而在提取的图像特征中引入噪声，从而导致由该图像特征所重构的图像不清晰的问题，在训练图像处理模型时，主动在图像特征中添加噪声，并训练特征提取层来去除图像特征中的噪声，能够提高图像处理模型的抗干扰能力，增强图像处理模型的鲁棒性，从而保证该图像处理模型的去模糊效果。
302、终端调用图像处理模型中的图像重构网络，对得到的任一样本图像特征进行图像重构，得到第三样本图像。
在一种可能的实现方式中，终端调用图像处理模型中的图像重构网络，对得到的任一样本图像特征进行图像重构，得到第三样本图像，包括：终端将任一样本图像特征输入到图像重构网络中，图像重构网络基于该样本图像特征进行图像重构，得到第三样本图像，输出该第三样本图像，终端获取图像重构网络输出的第三样本图像。
在一种可能的实现方式中，第一样本图像与第二样本图像的尺寸相等，终端调用图像处理模型中的图像重构网络，对得到的任一样本图像特征进行图像重构，得到第三样本图像，包括：终端调用图像重构网络，对任一样本图像特征进行等比例的图像重构，得到第三样本图像。其中，第三样本图像与第一样本图像以及第二样本图像的尺寸相等。
在本申请实施例中，通过调用图像重构网络，对样本图像特征进行等比例的图像重构，则该图像处理模型在进行去模糊处理时，能够在保持图像的尺寸不发生变化的前提下，提高图像的清晰度。
303、终端获取第三样本图像与第一样本图像之间的第一相似度，以及第一样本图像特征和第二样本图像特征之间的第二相似度。
在一种可能的实现方式中，样本图像和图像特征的形式均是向量。相应的，终端通过第三样本图像与第一样本图像之间的欧式距离来确定第三样本图像与第一样本图像之间的第一相似度，通过第一样本图像特征和第二样本图像特征之间的欧式距离来确定第一样本图像特征和第二样本图像特征之间的第二相似度。其中，欧式距离表示空间中的两个向量间的距离，能够体现两个向量之间的相似度，欧式距离越大，两个向量之间的相似度越小，相反，欧式距离越小，两个向量之间的相似度越大。当然，终端还能够通过曼哈顿距离、切比雪夫距离、闵可夫斯基距离、余弦距离、汉明距离或者其他参数来确定两个样本图像之间的第一相似度，以及第一样本图像特征和第二样本图像特征之间的第二相似度，本申请实施例对此不做限制。
304、终端确定总相似度，基于总相似度，训练图像处理模型。
其中，总相似度为第一相似度与第二相似度的和。
在一种可能的实现方式中，终端基于总相似度训练图像处理模型，包括：终端基于总相似度，确定图像处理模型的损失值，该损失值与总相似度呈负相关关系；终端调整图像处理模型的参数，以使基于调整后的图像处理模型获取的损失值变小。
上述方法能够通过下述公式(1)-(3)实现：
Ldis(θ1)＝λdis||Dis(θ1,Is)-Dis(θ1,Ib)|| (1)
其中，Ldis(θ1)表示特征提取网络的损失值，θ1表示特征提取网络的参数，Is表示第一样本图像，Ib表示第二样本图像，λdis为系数，Dis(θ1,Is)表示从第一样本图像中提取的第一样本图像特征，Dis(θ1,Ib)表示从第二样本图像中提取的第二样本图像特征，||Dis(θ1,Is)-Dis(θ1,Ib)||表示第一样本图像特征和第二样本图像特征之间的欧式距离。
Lrec(θ1)＝λrec||Rec(θ2,Dis(θ1,Ib,Is))-Is)|| (2)
其中，Lrec(θ1)表示图像重构网络的损失值，θ2表示图像重构网络的参数，λrec为系数，Dis(θ1,Ib,Is)表示第一样本图像特征或第二样本图像特征，Rec(θ2,Dis(θ1,Ib,Is))表示图像重构网络所重构出的第三样本图像，||Rec(θ2,Dis(θ1,Ib,Is))-Is)||表示第三样本图像与第一样本图像之间的欧式距离。
Lfinal1＝λdisLdis+λrecLrec (3)
其中，Lfinal1表示图像处理模型的整体损失值。
由于上述特征提取网络的损失值和第一样本图像特征和第二样本图像特征之间的第二相似度呈负相关关系，上述图像重构网络的损失值和第三样本图像与第一样本图像之间的第一相似度呈负相关关系，因此，特征提取网络的损失值和图像重构网络的损失值的总损失值与总相似度呈负相关关系。终端只需要调整图像处理模型的参数，以使基于调整后的图像处理模型获取的整体损失值变小，则能够使总相似度变大，使模型提取的特征更加准确，恢复出来的图像更加清晰。
在本申请实施例中，由于第一相似度能够表明图像处理模型对图像的去模糊效果，第一相似度越大，说明图像处理模型的去模糊效果越好，而第二相似度能够表明图像处理模型从图像中提取图像特征时，受到图像模糊影响的程度，第二相似度越大，说明图像处理模型提取图像特征时，受到图像模糊影响的程度越小，提取的图像特征更加准确。因此，确定第一相似度与第二相似度的总相似度，基于总相似度来训练模型，实现了从多个角度来约束模型，能够提高模型的训练效果。
另外，将与总相似度呈负相关关系的损失值作为模型训练的约束信息，则模型只需要通过调整参数来使该损失值变小，则能够提高模型性能，方法简单，能够提高模型的训练效率。
在一种可能的实现方式中，终端基于总相似度，确定图像处理模型的损失值，包括：终端将目标参数与损失值的和值确定为整体损失值。
可选地，该目标参数为固定数值，例如，该固定数值为2，相应的，终端将该固定数值与损失值的和值确定为整体损失值。在本申请实施例中，将该固定数值与损失值的和值确定为整体损失值，方法简单，便于快速确定出图像处理模型的损失值，能够提高模型的训练速度。
可选地，该目标参数为变量，例如，该目标参数为任一样本图像特征的泛数，相应的，终端将任一样本图像特征的泛数与损失值的和值确定为整体损失值。
其中，泛数表示样本图像特征的大小，样本图像特征的泛数越大，样本图像特征就越大，也就意味着图像处理模型在对图像进行去模糊处理时，要处理的数据量越多。相反，样本图像特征的泛数越小，样本图像特征就越小，也就意味着图像处理模型在对图像进行去模糊处理时，要处理的数据量越少。因此，在本申请实施例中，将该任一样本图像特征的泛数与损失值的和值作为模型训练的约束信息，在保证模型的去模糊效果的前提下，还能够提高模型的训练效率以及进行图像处理的效率。
上述方法能够通过下述公式(4)-(5)实现：
Lzero(θ1)＝λzero||Dis(θ1,I)|| (4)
其中，Lzero(θ1)表示任一样本图像特征的泛数，Dis(θ1,I)表示任一样本图像特征，从λzero表示系数。
Lfinal2＝λdisLdis+λrecLrec+λzeroLzero (5)
其中Lfinal2表示图像处理模型的整体损失值。
由于上述特征提取网络的损失值和第一样本图像特征和第二样本图像特征之间的第二相似度呈负相关关系，上述图像重构网络的损失值和第三样本图像与第一样本图像之间的第一相似度呈负相关关系，因此，上述图像处理模型的整体损失值与总相似度呈负相关关系，与提取的特征的大小呈正相关关系。终端只需要调整图像处理模型的参数，以使基于调整后的图像处理模型获取的图像处理模型的整体损失值变小，则能够使图像处理模型提取的特征变小，或者使总相似度变大，也即是，能够使模型进行模糊处理的效率更高、提取的特征更加准确，并且恢复出来的图像更加清晰。
在本申请实施例中，将包含相同内容但清晰度不同的两张图像作为一对样本图像，并且在该实施例中以一对样本图像为例说明了图像处理模型的训练过程。实际上，在其他实施例中，也能够通过多对样本图像来依次训练图像处理模型，通过每对样本图像训练图像处理模型的方式同理，此处不再赘述。
在一种可能的实现方式中，在训练图像处理模型的样本图像达到参考样本数量的情况下，终端确定图像处理模型训练完成。在另一种可能的实现方式中，在图像处理模型对测试用的模糊图像的去模糊效果达到参考条件的情况下，例如，在该模糊图像处理后的图像与该模糊图像对应的清晰图像的相似度达到参考相似度的情况下，确定图像处理模型训练完成。
需要说明的一点是，由于本申请实施例是将第二相似度也作为约束信息来训练模型，因此，训练完成后的模型的第二相似度是会达到训练要求的，在此情况下，第一样本图像特征和第二样本图像特征的差别是微乎其微的，因此，上述302中，终端能够基于任一样本图像特征来进行重构，而不会影响图像处理模型的训练效果。
在一种可能的实现方式中，上述特征提取网络和图像重构网络为卷积神经网络，且该卷积神经网络能够为任意结构，本申请实施例对此不做限制。以特征提取网络包含的第一特征提取层为例，该第一特征提取层的结构包含一个卷积层、9个RDB(residual denseblock，残差密集块)，RDB之后再接两个卷积层。以特征提取网络包含的第二特征提取层为例，第二特征提取层的数量为2，如此，终端在通过前一个第二特征提取层对第三样本图像特征和第四样本图像特征进行特征提取后，能够在得到的图像特征中再加入噪声，然后通过后一个第二特征提取层再次对该图像特征进行去噪处理，以进一步提高图像处理模型的抗干扰能力。
图4是图像处理模型的结构示意图。参考图4，该图像处理模型的特征提取网络包括一个第一特征提取层和两个第二特征提取层，三个特征提取层依次连接，后一个第二特征提取层之后连接图像重构网络。将第一样本图像和第二样本图像输入到第一特征提取层后，将噪声加入到第一特征提取层输出的第三样本图像特征和第四样本图像特征中，并通过前一个第二特征提取层进行去噪处理，然后再将噪声加入到前一个第二特征提取层输出的第一样本图像特征或第二样本图像特征中，通过后一个第二特征提取层再次进行去噪处理。然后，将提取后的图像特征输入到图像重构网络中，由图像重构网络将该图像特征重构为图像。
在本申请实施例中，考虑到在使用图像处理模型对图像进行去模糊处理时，由于图像本身携带有噪声或者终端的处理操作等原因而在提取的图像特征中引入噪声，从而导致由该图像特征所重构的图像不清晰的问题，在训练图像处理模型时，主动在图像特征中添加噪声，并训练特征提取层来去除图像特征中的噪声，能够提高图像处理模型的抗干扰能力，增强图像处理模型的鲁棒性，从而保证该图像处理模型的去模糊效果。
另外，由于第一相似度能够表明图像处理模型对图像的去模糊效果，第一相似度越大，说明图像处理模型的去模糊效果越好，而第二相似度能够表明图像处理模型从图像中提取图像特征时，受到图像模糊影响的程度，第二相似度越大，说明图像处理模型提取图像特征时，受到图像模糊影响的程度越小，提取的图像特征更加准确。因此，基于总相似度来训练模型，实现了从多个角度来约束模型，能够提高模型的训练效果。
另外，将与总相似度呈负相关关系的损失值作为模型训练的约束信息，则模型只需要通过调整参数来使该损失值变小，则能够提高模型性能，方法简单，能够提高模型的训练效率。
另外，由于泛数表示样本图像特征的大小，样本图像特征的泛数越小，样本图像特征就越小，也就意味着图像处理模型在对图像进行去模糊处理时，要处理的数据量越少。因此，将样本图像特征的泛数与损失值的和值作为模型训练的约束信息，在保证模型的去模糊效果的前提下，还能够提高模型的训练效率以及进行图像处理的效率。
另外，通过调用图像重构网络，对样本图像特征进行等比例的图像重构，则该图像处理模型在进行去模糊处理时，能够在保持图像的尺寸不发生变化的前提下，提高图像的清晰度。
图5是本申请实施例提供的一种图像处理方法的流程图。该实施例主要描述图像处理模型的使用过程。该实施例以执行主体为终端为例进行说明，参见图5，该实施例包括：
501、终端调用特征提取网络，对第一目标图像进行特征提取，得到第一目标图像特征。
其中第一目标图像为任一图像，本申请实施例对此不做限制。
在一种可能的实现方式中，特征提取网络包括第一特征提取层和第二特征提取层，调用特征提取网络，对第一目标图像进行特征提取，得到第一目标图像特征，包括：终端调用第一特征提取层，对第一目标图像进行特征提取，得到第二目标图像特征；终端调用第二特征提取层，对第二目标图像特征进行去噪处理，得到该第一目标图像特征。其中，第二特征提取层用于去除第二目标图像特征中的噪声。该步骤的实现方式与终端调用图像处理模型中的特征提取网络，对第一样本图像和第二样本图像分别进行特征提取，得到第一样本图像特征和第二样本图像特征的实现方式同理，此处不再赘述。
在本申请实施例中，考虑到由于第一目标图像本身携带有噪声或者终端的处理操作等原因而在提取的图像特征中引入噪声，从而导致由该图像特征所重构的图像不清晰的问题，因此，通过第一特征提取层提取特征后，进一步通过第二特征提取层来进行去噪处理，由于第二特征提取层具有去除图像特征中的噪声的能力，使得经过第二特征提取层提取后的图像特征不包含噪声，基于该图像特征进行图像重构，能够提高重构出的图像的清晰度，去模糊效果好。
502、终端调用图像重构网络，对第一目标图像特征进行图像重构，得到第二目标图像。
其中，第二目标图像与第一目标图像包含的内容相同，且第二目标图像的清晰度大于第一目标图像的清晰度。
在一种可能的实现方式中，终端调用图像重构网络，对第一目标图像特征进行图像重构，得到第二目标图像，包括：终端调用图像重构网络，对第一目标图像特征进行等比例的图像重构，得到第二目标图像。其中，第二目标图像与第一目标图像的尺寸相等。
在本申请实施例中，通过调用图像重构网络，对第一目标图像特征进行等比例的图像重构，则该图像处理模型在进行去模糊处理时，能够在保持图像的尺寸不发生变化的前提下，提高图像的清晰度。
该步骤的实现方式与终端调用图像重构网络对得到的任一样本图像特征进行图像重构，得到第三样本图像的实现方式同理，此处不再赘述。
需要说明的一点是，该实施例仅是调用图像处理模型，对任一图像进行去模糊处理的其中一种实现方式，在其他实施例中，还能够通过其他方式来调用图像处理模型进行图像去模糊处理，本申请实施例对此不做限制。
在本申请实施例中，由于图像处理模型的抗干扰能力强且泛化能力强，因此，基于该图像处理模型来进行图像去模糊处理，能够提高图像的去模糊处理的效率，并且保证图像去模糊的效果。
上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
图6是本申请实施例提供的一种图像处理装置的框图。参见图6，该装置包括：
特征提取模块61，用于调用图像处理模型中的特征提取网络，对第一样本图像和第二样本图像分别进行特征提取，得到第一样本图像特征和第二样本图像特征，第一样本图像与第二样本图像包含的内容相同，且第一样本图像的清晰度大于第二样本图像的清晰度；
图像重构模块62，用于调用图像处理模型中的图像重构网络，对得到的任一样本图像特征进行图像重构，得到第三样本图像；
模型训练模块63，用于基于第三样本图像与第一样本图像之间的第一相似度，以及第一样本图像特征与第二样本图像特征之间的第二相似度，训练图像处理模型；
模糊处理模块64，用于调用训练后的图像处理模型，对任一图像进行去模糊处理。
在一种可能的实现方式中，特征提取网络包括第一特征提取层和第二特征提取层，特征提取模块61，用于调用第一特征提取层，对第一样本图像和第二样本图像分别进行特征提取，得到第三样本图像特征和第四样本图像特征；在第三样本图像特征和第四样本图像特征中分别加入噪声；调用第二特征提取层，对加入噪声后的第三样本图像特征和第四样本图像特征分别进行去噪处理，得到第一样本图像特征和第二样本图像特征。
在一种可能的实现方式中，参见图7，模型训练模块63，包括：
总相似度确定单元631，用于确定总相似度，总相似度为第一相似度与第二相似度的和；
模型训练单元632，用于基于总相似度，训练图像处理模型。
在一种可能的实现方式中，继续参见图7，模型训练单元632，包括：
损失值确定子单元6321，用于基于总相似度，确定图像处理模型的损失值，损失值与总相似度呈负相关关系；
参数调整子单元6322，用于调整图像处理模型的参数，以使基于调整后的图像处理模型获取的损失值变小。
在一种可能的实现方式中，损失值确定子单元6321，用于将目标参数与损失值的和值确定为整体损失值。
在一种可能的实现方式中，损失值确定子单元6321，用于将任一样本图像特征的泛数与损失值的和值确定为整体损失值，泛数表示任一样本图像特征的大小。
在一种可能的实现方式中，第一样本图像与第二样本图像的尺寸相等，图像重构模块62，用于调用图像重构网络，对任一样本图像特征进行等比例的图像重构，得到第三样本图像，第三样本图像与第一样本图像的尺寸相等。
在一种可能的实现方式中，继续参见图7，模糊处理模块64，包括：
特征提取单元641，用于调用特征提取网络，对第一目标图像进行特征提取，得到第一目标图像特征；
图像重构单元642，用于调用图像重构网络，对第一目标图像特征进行图像重构，得到第二目标图像。
在一种可能的实现方式中，特征提取网络包括第一特征提取层和第二特征提取层，特征提取单元641，用于调用第一特征提取层，对第一目标图像进行特征提取，得到第二目标图像特征；调用第二特征提取层，对第二目标图像特征进行去噪处理，得到第一目标图像特征。
在一种可能的实现方式中，图像重构单元642，用于调用图像重构网络，对第一目标图像特征进行等比例的图像重构，得到第二目标图像，第二目标图像与第一目标图像的尺寸相等。
在本申请实施例中，由于第一样本图像和第二样本图像包含的内容相同，但清晰度不同，因此在训练图像处理模型时，调用图像处理模型对这两种图像分别进行特征提取，使得模型能够基于提取的两种图像特征之间的相似度，以及提取的特征转换出的图像与第一样本图像的相似度，调整从图像中提取的特征，从而能够学会从图像中提取不受模糊影响的图像特征，因此，基于该图像特征转换出的图像更为清晰，提高了图像处理模型的去模糊效果。
需要说明的是：上述实施例提供的图像处理装置在进行图片处理时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将计算机设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像处理装置与图像处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本申请实施例还提供了一种计算机设备，该计算机设备包括处理器和存储器，存储器中存储有至少一条计算机程序，该至少一条计算机程序由处理器加载并执行，以实现上述实施例的图像处理方法中执行的操作。
可选地，该计算机设备提供为终端。图8示出了本申请一个示例性实施例提供的终端800的结构框图。该终端800可以是：智能手机、平板电脑、MP3播放器(Moving PictureExperts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(MovingPicture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端800还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
终端800包括有：处理器801和存储器802。
处理器801可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器801可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器801也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器801可以集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器801还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器802可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器802还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器802中的非暂态的计算机可读存储介质用于存储至少一个计算机程序，该至少一个计算机程序用于被处理器801所执行以实现本申请中方法实施例提供的图像处理方法。
在一些实施例中，终端800还可选包括有：外围设备接口803和至少一个外围设备。处理器801、存储器802和外围设备接口803之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口803相连。具体地，外围设备包括：射频电路804、显示屏805、摄像头组件806、音频电路807和电源809中的至少一种。
外围设备接口803可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器801和存储器802。在一些实施例中，处理器801、存储器802和外围设备接口803被集成在同一芯片或电路板上；在一些其他实施例中，处理器801、存储器802和外围设备接口803中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路804用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路804通过电磁信号与通信网络以及其他通信设备进行通信。射频电路804将电信号重构为电磁信号进行发送，或者，将接收到的电磁信号重构为电信号。可选地，射频电路804包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路804可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路804还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏805用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏805是触摸显示屏时，显示屏805还具有采集在显示屏805的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器801进行处理。此时，显示屏805还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏805可以为一个，设置终端800的前面板；在另一些实施例中，显示屏805可以为至少两个，分别设置在终端800的不同表面或呈折叠设计；在另一些实施例中，显示屏805可以是柔性显示屏，设置在终端800的弯曲表面上或折叠面上。甚至，显示屏805还可以设置成非矩形的不规则图形，也即异形屏。显示屏805可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode，有机发光二极管)等材质制备。
摄像头组件806用于采集图像或视频。可选地，摄像头组件806包括前置摄像头和后置摄像头。前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件806还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路807可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波重构为电信号输入至处理器801进行处理，或者输入至射频电路804以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端800的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器801或射频电路804的电信号重构为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号重构为人类可听见的声波，也可以将电信号重构为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路807还可以包括耳机插孔。
电源809用于为终端800中的各个组件进行供电。电源809可以是交流电、直流电、一次性电池或可充电电池。当电源809包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端800还包括有一个或多个传感器810。该一个或多个传感器810包括但不限于：加速度传感器811、陀螺仪传感器812、压力传感器813、光学传感器815以及接近传感器816。
加速度传感器811可以检测以终端800建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器811可以用于检测重力加速度在三个坐标轴上的分量。处理器801可以根据加速度传感器811采集的重力加速度信号，控制显示屏805以横向视图或纵向视图进行用户界面的显示。加速度传感器811还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器812可以检测终端800的机体方向及转动角度，陀螺仪传感器812可以与加速度传感器811协同采集用户对终端800的3D动作。处理器801根据陀螺仪传感器812采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器813可以设置在终端800的侧边框和/或显示屏805的下层。当压力传感器813设置在终端800的侧边框时，可以检测用户对终端800的握持信号，由处理器801根据压力传感器813采集的握持信号进行左右手识别或快捷操作。当压力传感器813设置在显示屏805的下层时，由处理器801根据用户对显示屏805的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
光学传感器815用于采集环境光强度。在一个实施例中，处理器801可以根据光学传感器815采集的环境光强度，控制显示屏805的显示亮度。具体地，当环境光强度较高时，调高显示屏805的显示亮度；当环境光强度较低时，调低显示屏805的显示亮度。在另一个实施例中，处理器801还可以根据光学传感器815采集的环境光强度，动态调整摄像头组件806的拍摄参数。
接近传感器816，也称距离传感器，设置在终端800的前面板。接近传感器816用于采集用户与终端800的正面之间的距离。在一个实施例中，当接近传感器816检测到用户与终端800的正面之间的距离逐渐变小时，由处理器801控制显示屏805从亮屏状态切换为息屏状态；当接近传感器816检测到用户与终端800的正面之间的距离逐渐变大时，由处理器801控制显示屏805从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图8中示出的结构并不构成对终端800的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
可选地，该计算机设备提供为服务器。图9是本申请实施例提供的一种服务器的结构示意图，该服务器900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)901和一个或一个以上的存储器902，其中，存储器902中存储有至少一条计算机程序，至少一条计算机程序由处理器901加载并执行以实现上述各个方法实施例提供的图像处理方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一条计算机程序，该至少一条计算机程序由处理器加载并执行，以实现上述实施例的图像处理方法中执行的操作。
本申请实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或该计算机程序包括计算机程序，该计算机程序存储在计算机可读存储介质中。计算机设备的处理器从该计算机可读存储介质读取该计算机程序，该处理器执行该计算机程序，使得该计算机设备执行上述各种可选实现方式中的图像处理方法中执行的操作。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：
调用图像处理模型中的特征提取网络，对第一样本图像和第二样本图像分别进行特征提取，得到第一样本图像特征和第二样本图像特征，所述第一样本图像与所述第二样本图像包含的内容相同，且所述第一样本图像的清晰度大于所述第二样本图像的清晰度；
调用所述图像处理模型中的图像重构网络，对得到的任一样本图像特征进行图像重构，得到第三样本图像；
基于所述第三样本图像与所述第一样本图像之间的第一相似度，以及所述第一样本图像特征与所述第二样本图像特征之间的第二相似度，训练所述图像处理模型；
调用训练后的所述图像处理模型，对任一图像进行去模糊处理。
2.根据权利要求1所述的方法，其特征在于，所述特征提取网络包括第一特征提取层和第二特征提取层，所述调用图像处理模型中的特征提取网络，对第一样本图像和第二样本图像分别进行特征提取，得到第一样本图像特征和第二样本图像特征，包括：
调用所述第一特征提取层，对所述第一样本图像和所述第二样本图像分别进行特征提取，得到第三样本图像特征和第四样本图像特征；
在所述第三样本图像特征和所述第四样本图像特征中分别加入噪声；
调用所述第二特征提取层，对加入噪声后的所述第三样本图像特征和所述第四样本图像特征分别进行去噪处理，得到所述第一样本图像特征和所述第二样本图像特征。
3.根据权利要求1所述的方法，其特征在于，所述基于所述第三样本图像与所述第一样本图像之间的第一相似度，以及所述第一样本图像特征与所述第二样本图像特征之间的第二相似度，训练所述图像处理模型，包括：
确定总相似度，所述总相似度为所述第一相似度与所述第二相似度的和；
基于所述总相似度，训练所述图像处理模型。
4.根据权利要求3所述的方法，其特征在于，所述基于所述总相似度，训练所述图像处理模型，包括：
基于所述总相似度，确定所述图像处理模型的损失值，所述损失值与所述总相似度呈负相关关系；
调整所述图像处理模型的参数，以使基于调整后的所述图像处理模型获取的所述损失值变小。
5.根据权利要求4所述的方法，其特征在于，所述基于所述总相似度，确定所述图像处理模型的损失值包括：
将目标参数与所述损失值的和值确定为整体损失值，所述目标参数为一个固定数值或所述任一样本图像特征的泛数。
6.根据权利要求5所述的方法，其特征在于，所述将目标参数与所述损失值的和值确定为整体损失值，包括：
将所述任一样本图像特征的泛数与所述损失值的和值确定为所述整体损失值，所述泛数表示所述任一样本图像特征的大小。
7.根据权利要求1所述的方法，其特征在于，所述第一样本图像与所述第二样本图像的尺寸相等，所述调用所述图像处理模型中的图像重构网络，对得到的任一样本图像特征进行图像重构，得到第三样本图像，包括：
调用所述图像重构网络，对所述任一样本图像特征进行等比例的图像重构，得到所述第三样本图像，所述第三样本图像与所述第一样本图像的尺寸相等。
8.一种图像处理装置，其特征在于，所述装置包括：
特征提取模块，用于调用图像处理模型中的特征提取网络，对第一样本图像和第二样本图像分别进行特征提取，得到第一样本图像特征和第二样本图像特征，所述第一样本图像与所述第二样本图像包含的内容相同，且所述第一样本图像的清晰度大于所述第二样本图像的清晰度；
图像重构模块，用于调用所述图像处理模型中的图像重构网络，对得到的任一样本图像特征进行图像重构，得到第三样本图像；
模型训练模块，用于基于所述第三样本图像与所述第一样本图像之间的第一相似度，以及所述第一样本图像特征与所述第二样本图像特征之间的第二相似度，训练所述图像处理模型；
模糊处理模块，用于调用训练后的所述图像处理模型，对任一图像进行去模糊处理。
9.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条计算机程序，所述计算机程序由所述处理器加载并执行以实现如权利要求1至权利要求7任一项所述的图像处理方法所执行的操作。
10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条计算机程序，所述计算机程序由处理器加载并执行以实现如权利要求1至权利要求7任一项所述的图像处理方法所执行的操作。
CN202110261840.3A 2021-03-10 2021-03-10 图像处理方法、装置、设备及存储介质 Active CN113012064B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110261840.3A CN113012064B (zh) 2021-03-10 2021-03-10 图像处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110261840.3A CN113012064B (zh) 2021-03-10 2021-03-10 图像处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113012064A CN113012064A (zh) 2021-06-22
CN113012064B true CN113012064B (zh) 2023-12-12

Family

ID=76404494

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110261840.3A Active CN113012064B (zh) 2021-03-10 2021-03-10 图像处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113012064B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972349B (zh) * 2022-08-01 2022-10-25 山东西曼克技术有限公司 基于图像处理的托辊运行状态检测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921806A (zh) * 2018-08-07 2018-11-30 Oppo广东移动通信有限公司 一种图像处理方法、图像处理装置及终端设备
CN110674748A (zh) * 2019-09-24 2020-01-10 腾讯科技（深圳）有限公司 图像数据处理方法、装置、计算机设备以及可读存储介质
CN110837858A (zh) * 2019-11-01 2020-02-25 腾讯科技（深圳）有限公司 网络模型训练方法、装置、计算机设备及存储介质
CN111539884A (zh) * 2020-04-21 2020-08-14 温州大学 一种基于多注意力机制融合的神经网络视频去模糊方法
CN111914997A (zh) * 2020-06-30 2020-11-10 华为技术有限公司 训练神经网络的方法、图像处理方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9105087B2 (en) * 2012-07-20 2015-08-11 Lawrence Livermore National Security, Llc System for uncollimated digital radiography
BR112020022560A2 (pt) * 2018-09-30 2021-06-01 Boe Technology Group Co., Ltd. aparelho e método para processamento de imagens e sistema para rede neural de treinamento

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921806A (zh) * 2018-08-07 2018-11-30 Oppo广东移动通信有限公司 一种图像处理方法、图像处理装置及终端设备
CN110674748A (zh) * 2019-09-24 2020-01-10 腾讯科技（深圳）有限公司 图像数据处理方法、装置、计算机设备以及可读存储介质
CN110837858A (zh) * 2019-11-01 2020-02-25 腾讯科技（深圳）有限公司 网络模型训练方法、装置、计算机设备及存储介质
CN111539884A (zh) * 2020-04-21 2020-08-14 温州大学 一种基于多注意力机制融合的神经网络视频去模糊方法
CN111914997A (zh) * 2020-06-30 2020-11-10 华为技术有限公司 训练神经网络的方法、图像处理方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于颜色空间变换和CNN的自适应去模糊方法;王晓红;卢辉;黄中秋;麻祥才;;包装工程(07);全文 *

Also Published As

Publication number Publication date
CN113012064A (zh) 2021-06-22

Similar Documents

Publication Publication Date Title
CN110136136B (zh) 场景分割方法、装置、计算机设备及存储介质
CN110059744B (zh) 训练神经网络的方法、图像处理的方法、设备及存储介质
CN110502954B (zh) 视频分析的方法和装置
CN108305236B (zh) 图像增强处理方法及装置
CN110288518B (zh) 图像处理方法、装置、终端及存储介质
CN110602101B (zh) 网络异常群组的确定方法、装置、设备及存储介质
CN110933334B (zh) 视频降噪方法、装置、终端及存储介质
CN110149517B (zh) 视频处理的方法、装置、电子设备及计算机存储介质
CN108776822B (zh) 目标区域检测方法、装置、终端及存储介质
CN114283050A (zh) 图像处理方法、装置、设备及存储介质
CN110675412A (zh) 图像分割方法、图像分割模型的训练方法、装置及设备
CN111586444B (zh) 视频处理方法、装置、电子设备及存储介质
CN110839174A (zh) 图像处理的方法、装置、计算机设备以及存储介质
CN112581358A (zh) 图像处理模型的训练方法、图像处理方法及装置
CN110807769B (zh) 图像显示控制方法及装置
CN110189348B (zh) 头像处理方法、装置、计算机设备及存储介质
CN113012064B (zh) 图像处理方法、装置、设备及存储介质
CN111068323B (zh) 智能速度检测方法、装置、计算机设备及存储介质
CN110135329B (zh) 从视频中提取姿势的方法、装置、设备及存储介质
CN111860064A (zh) 基于视频的目标检测方法、装置、设备及存储介质
CN113379624A (zh) 图像生成方法、图像生成模型的训练方法、装置及设备
CN108881739B (zh) 图像生成方法、装置、终端及存储介质
CN112750449A (zh) 回声消除方法、装置、终端、服务器及存储介质
CN114615520B (zh) 字幕定位方法、装置、计算机设备及介质
CN116757970B (zh) 视频重建模型的训练方法、视频重建方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40047302

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant