CN113139942B - 图像处理模型的训练方法、装置、电子设备及存储介质 - Google Patents

图像处理模型的训练方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113139942B
CN113139942B CN202110432554.9A CN202110432554A CN113139942B CN 113139942 B CN113139942 B CN 113139942B CN 202110432554 A CN202110432554 A CN 202110432554A CN 113139942 B CN113139942 B CN 113139942B
Authority
CN
China
Prior art keywords
image
fuzzy
blur
blurred
score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110432554.9A
Other languages
English (en)
Other versions
CN113139942A (zh
Inventor
胡杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202110432554.9A priority Critical patent/CN113139942B/zh
Publication of CN113139942A publication Critical patent/CN113139942A/zh
Application granted granted Critical
Publication of CN113139942B publication Critical patent/CN113139942B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种图像处理模型的训练方法、装置、电子设备及存储介质，该方法包括：根据多种模糊核，对第一图像样本集中的每张清晰图像进行模糊处理，得到多张模糊图像，多种模糊核包括多种模糊等级的模糊核，每张模糊图像的模糊等级与其对应的模糊核的模糊等级对应；根据每张模糊图像的模糊等级评分，生成每张模糊图像对应的模糊程度图像，每张模糊程度图像中每个像素点的灰度值与每张模糊程度图像对应的模糊图像的模糊等级评分对应；根据多张模糊图像及其对应的模糊程度图像，得到第二图像样本集；根据第二图像样本集，对初始模型进行训练，得到图像处理模型。本方法可以在构建样本集时，自动标定模糊样本图像的模糊程度评分，减少标定成本。

Description

图像处理模型的训练方法、装置、电子设备及存储介质
技术领域
本申请涉及图像处理技术领域，更具体地，涉及一种图像处理模型的训练方法、装置、电子设备及存储介质。
背景技术
随着科技水平和生活水平的快速进步，电子设备(例如智能手机、平板电脑等)被人们广泛使用，而且电子设备的拍摄功能也越来越强，非专业人员也能通过电子设备拍摄出较高质量的图像，但是用户在使用电子设备进行拍照时，仍然会产生图像模糊，因此产生了一些去模糊的方案。在对图像去模糊的方案中，为有效去模糊的同时节省计算资源，通常会侦测一些感兴趣的对象(例如人脸等)的模糊程度，以根据模糊程度来确定是否需要进行去模糊处理。但是在通过人工智能进行模糊程度检测的方案中，需要在模型训练时，通常需要人工对图像进行模糊程度的标定，导致了较高的人工成本。
发明内容
鉴于上述问题，本申请提出了一种图像处理模型的训练方法、装置、电子设备及存储介质。
第一方面，本申请实施例提供了一种图像处理模型的训练方法，所述方法包括：获取第一图像样本集，所述第一图像样本集包括多张包含目标对象的清晰图像；根据多种模糊核，对所述第一图像样本集中的每张清晰图像进行模糊处理，得到多张模糊图像，其中，所述多种模糊核包括多种模糊等级的模糊核，每张模糊图像的模糊等级与其对应的模糊核的模糊等级对应；根据所述每张模糊图像的模糊等级评分，生成所述每张模糊图像对应的模糊程度图像，所述每张模糊图像的模糊等级评分与所述每张模糊图像的模糊等级对应，每张模糊程度图像中每个像素点的灰度值与所述每张模糊程度图像对应的模糊图像的模糊等级评分对应；根据所述多张模糊图像，以及所述每张模糊图像对应的模糊程度图像，得到第二图像样本集；根据所述第二图像样本集，对初始模型进行训练，得到图像处理模型，所述图像处理模型用于根据输入图像输出所述输入图像对应的模糊程度图像。
第二方面，本申请实施例提供了一种图像处理模型的训练装置，所述装置包括：第一样本集获取模块、第一图像获取模块、第二图像获取模块、第二样本集获取模块以及模型训练模块，其中，所述第一样本集获取模块用于获取第一图像样本集，所述第一图像样本集包括多张包含目标对象的清晰图像；所述第一图像获取模块用于根据多种模糊核，对所述第一图像样本集中的每张清晰图像进行模糊处理，得到多张模糊图像，其中，所述多种模糊核包括多种模糊等级的模糊核，每张模糊图像的模糊等级与其对应的模糊核的模糊等级对应；所述第二图像获取模块用于根据所述每张模糊图像的模糊等级评分，生成所述每张模糊图像对应的模糊程度图像，所述每张模糊图像的模糊等级评分与所述每张模糊图像的模糊等级对应，每张模糊程度图像中每个像素点的灰度值与所述每张模糊程度图像对应的模糊图像的模糊等级评分对应；所述第二样本集获取模块用于根据所述多张模糊图像，以及所述每张模糊图像对应的模糊程度图像，得到第二图像样本集；所述模型训练模块用于根据所述第二图像样本集，对初始模型进行训练，得到图像处理模型，所述图像处理模型用于根据输入图像输出所述输入图像对应的模糊程度图像。
第三方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述第一方面提供的图像处理模型的训练方法。
第四方面，本申请实施例提供了一种计算机可读取存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述第一方面提供的图像处理模型的训练方法。
本申请提供的方案，通过获取第一图像样本集，该第一图像样本集包括多张包含目标对象的清晰图像，然后根据多种模糊核，对第一图像样本集中的每张清晰图像进行模糊处理，得到多张模糊图像，其中，所述多种模糊核包括多种模糊等级的模糊核，每张模糊图像的模糊等级与其对应的模糊核的模糊等级对应，根据每张模糊图像的模糊等级评分，生成每张模糊图像对应的模糊程度图像，每张模糊图像的模糊等级评分与每张模糊图像的模糊等级对应，每张模糊程度图像中每个像素点的灰度值与每张模糊程度图像对应的模糊图像的模糊等级评分对应，再根据多张模糊图像，以及每张模糊图像对应的模糊程度图像，得到第二图像样本集，根据第二图像样本集，对初始模型进行训练，得到图像处理模型，获得的图像处理模型可以用于根据输入图像输出输入图像对应的模糊程度图像，从而可以在对用于检测目标对象的模糊程度的图像处理模型的训练过程中，在构建图像样本集时，可以自动标定模糊程度评分，减少人工标定成本，提升标定速度，从而提升模型的训练效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了根据本申请一个实施例的图像处理模型的训练方法流程图。
图2示出了本申请一个实施例提供的模糊核的一种显示效果示意图。
图3示出了本申请一个实施例提供的模糊核的另一种显示效果示意图。
图4示出了本申请一个实施例提供的模糊核的又一种显示效果示意图。
图5示出了本申请一个实施例提供的模糊核的再一种显示效果示意图。
图6示出了根据本申请另一个实施例的图像处理模型的训练方法流程图。
图7示出了本申请另一个实施例提供的图像处理模型的训练方法中步骤S240的流程图。
图8示出了根据本申请又一个实施例的图像处理模型的训练方法流程图。
图9示出了本申请一个实施例提供的合成图像的示意图。
图10示出了本申请一个实施例提供的图像处理模型的应用场景示意图。
图11示出了根据本申请再一个实施例的图像处理模型的训练方法流程图。
图12示出了根据本申请一个实施例的图像处理模型的训练装置的一种框图。
图13是本申请实施例的用于执行根据本申请实施例的图像处理模型的训练方法的电子设备的框图。
图14是本申请实施例的用于保存或者携带实现根据本申请实施例的图像处理模型的训练方法的程序代码的存储单元。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
当前，电子设备在日常生活使用中，普及率已近乎全民覆盖，其中，相机模块，已成为电子设备主要功能点，用户可通过电子设备的相机功能，拍摄照片与视频，所得的图像即拍即得，方便快捷，不仅如此，用户也经常将拍摄的图像上传到网上与他人一起分享。电子设备进行拍摄已基本取代了传统的摄像机。
在使用电子设备进行拍照时，可能会存在手持电子设备产生自然抖动，或者在行进时拍照等情况，从而使得拍摄的图像存在模糊。针对图像中的模糊，产生了去模糊的技术。图像去模糊是一种重要的图像处理研究方向，其目标是恢复模糊图像中由于模糊而损失的细节信息。在图像去模糊的相关方案中，若图像中出现相关的目标对象(例如人脸、动物、车辆等)，则这些目标对象在图像中关注度最高，以至于相对于背景区域而言，这些目标对象所在区域的瑕疵会被放大，尤其是模糊不清的目标对象，难以被用户接受。通常为了有效去除模糊人脸区域的模糊，同时节省计算资源，需要首先侦测出目标对象的模糊程度，用来判断目标对象所在区域是否需要去模糊处理。
当前对于图像的模糊程度的估计方法，主要采用基于深度学习的方法。对于人脸模糊估计一般方法如下：在拍摄图像中检测出目标对象所在区域，再通过标注员对目标对象所在区域的模糊程度进行等级估计(比如等级范围为0～16，0代表清晰无模糊，16代表严重模糊)，最终标记结果为模糊人脸的模糊程度图，与检测出的目标对象所在区域形成样本对，制作出训练数据集，然后对模型进行训练，得到用于模糊程度估计的模型。
发明人经过长期的研究发现，通过检测和裁剪出目标对象所在区域，再人工标定模糊程度来制作数据集，一方面很难寻找到模糊程度均匀分布的样本图像，导致最终数据集样本分布不均匀，另一方面人工标定速度慢，导致人工成本高。
针对上述问题，发明人提出了本申请实施例提供的图像处理模型的训练方法、装置、电子设备以及存储介质，可以在对用于检测目标对象的模糊程度的图像处理模型的训练过程中，在构建图像样本集时，可以自动标定模糊程度评分，减少人工标定成本，提升标定速度，从而提升模型的训练效率。其中，具体的图像处理模型的训练方法在后续的实施例中进行详细的说明。
请参阅图1，图1示出了本申请一个实施例提供的图像处理模型的训练方法的流程示意图。在具体的实施例中，所述图像处理模型的训练方法应用于如图12所示的图像处理模型的训练装置400以及配置有所述图像处理模型的训练装置400的电子设备100(图13)。下面将以电子设备为例，说明本实施例的具体流程，当然，可以理解的，本实施例所应用的电子设备可以为智能手机、平板电脑、智能手表、智能眼镜、笔记本电脑、服务器等，在此不做限定。下面将针对图1所示的流程进行详细的阐述，所述图像处理模型的训练方法具体可以包括以下步骤：
步骤S110：获取第一图像样本集，所述第一图像样本集包括多张包含目标对象的清晰图像。
在本申请实施例中，第一图像样本集中可以包括多张清晰图像，并且每张清晰图像中均包含目标对象。其中，目标对象可以为人脸、车辆、动物等可以被检测和识别的对象。第一图像样本集中可以包括多种类型的目标对象对应的清晰图像，也可以包括一种类型的目标对象的清晰图像。可以理解地，若第一图像样本集中包括多种类型的目标对象对应的清晰图像，则后续根据第一图像样本集生成的第二图像样本集，训练得到的图像处理模型，可以针对不同类型的目标对象的图像，进行模糊程度的检测；若第一图像样本集中包括一种类型的目标对象的清晰图像，则后续训练得到的图像处理模型，可以较为准确地检测包含该类型的目标对象的图像的模糊程度。
在一些实施方式中，可以从开源的图像库中获取以上清晰图像，例如，以上目标对象为人脸时，可以从开源的人脸图像库中获取清晰的人脸图像，以构建第一图像样本集。当然，获取以上清晰图像的具体方式可以不做限定，例如，可以通过对目标对象进行拍摄，以得到以上清晰图像。
步骤S120：根据多种模糊核，对所述第一图像样本集中的每张清晰图像进行模糊处理，得到多张模糊图像，其中，所述多种模糊核包括多种模糊等级的模糊核，每张模糊图像的模糊等级与其对应的模糊核的模糊等级对应。
在本申请实施例中，电子设备可以根据多种模糊核，对第一图像样本集中的每张清晰图像进行模糊处理，得到多张模糊图像。
在本申请实施例中，模糊核(blur kernel)实际上就是一个矩阵，清晰图像与模糊核卷积后导致图像变得模糊，因此叫模糊核。模糊核是卷积核的一种，图像卷积操作的本质是矩阵卷积。也就是说，图像模糊可以看做清晰图像卷积模糊核得到模糊图像的过程，例如，模糊图像可以根据以下公式获取：
其中，B为模糊图像(blurry image)，I为清晰图像(latent image)，K为模糊核(blur kernel)，N为附加的噪声，为卷积操作。
在本申请实施例中，以上多种模糊核包括多种模糊等级的模糊核，从而可以使后续生成的样本集合中数据分布均匀，能够包含不同模糊等级的样本图像。每张模糊图像的模糊等级与其对应的模糊核的模糊等级对应。也就是说，针对某张模糊图像而言，其被用于模糊处理的模糊等级，即为该模糊图像的模糊等级。其中，模糊等级即表征了模糊程度。
在一些实施方式中，多种模糊核可以为预先获取的不同模糊程度的模糊核，例如，预先通过对不同模糊程度的模糊图像进行模糊核估计，所得到的模糊核。
在另一些实施方式中，为丰富用于生成模糊图像的模糊核，即丰富后续生成的样本图像，可以获取多个初始模糊核，然后对初始模糊核进行预设增强处理，得到初始模糊核对应的多种模糊核，将初始模糊核以及初始模糊核对应的多种模糊核，作为用于对清晰图像进行模糊处理的模糊核。多个初始模糊核可以包括多种模糊程度等级的模糊核。其中，模糊核被可视化后得到的图像为包含椭圆的图像，对于该图像进行相应的变换处理，使其形状发生变化，而得到不同的模糊核。
作为一种可能的实施方式，对每个初始模糊核进行预设增强处理可以包括对每个初始模糊核进行尺寸缩放处理。其中，对初始模糊核进行尺寸缩放处理，可以为对初始模糊核进行长度和宽度的改变，以使其尺寸发生变化，也就是使模糊核的长轴和短轴的长度，从而得到新的模糊核。可以理解地，模糊核的模糊程度可以根据模糊核的长轴、短轴的长度加权来衡量，即对根据模糊核的长轴和短轴的长度对模糊程度进行量化，因此可以通过尺寸缩放处理，使初始模糊核的长轴和短轴的长度发生改变，从而得到不同模糊等级的模糊核。
作为一种可能的实施方式，对每个初始模糊核进行预设增强处理可以包括对所述初始模糊核进行旋转处理。其中，对所述初始模糊核进行旋转处理，可以使模糊核的长轴和短轴的方向发生变化，得到新的模糊核，此时得到的模糊核相比初始模糊核而言，模糊方向发生了变化。
作为一种可能的实施方式，对每个初始模糊核进行预设增强处理包括对每个初始模糊核进行仿射变换处理。其中，仿射变换处理是指在几何中，一个向量空间进行一次线性变换并接上一个平移，变换为另一个向量空间，针对模糊核而言，通过仿射变换处理也可以使模糊核的形状发生变化，从而得到不同的模糊核。
作为一种可能的实施方式，对每个初始模糊核进行预设增强处理包括对所述每个初始模糊核进行平移处理。其中，对初始模糊核进行平移处理，指在模糊核对应的可视化图像中，对模糊核对应的区域进行平移，使模糊核对应的区域在模糊核对应的可视化图像发生变化，而得到新的模糊核，对于模糊核的这种变化，可以使模糊核对图像中的不同区域进行模糊化。
作为一种可能的实施方式，对每个初始模糊核进行预设增强处理包括对所述每个初始模糊核进行边缘填充处理。其中，对初始模糊核进行边缘填充处理可以为，对模糊核对应的可视化图像中模糊核对应的区域的边缘进行填充，具体可以填充为模糊核对应的区域，使模糊核的尺寸增加，从而使初始模糊核的长轴和短轴的长度发生改变，从而得到不同模糊等级的模糊核。
可以理解地，对初始模糊核的预设增强处理，可以包含以上实施方式中的一种，也可以包含多种以上实施方式的组合。
另外，初始模糊核的预设增强处理包含多种以上实施方式的组合时，可以分别对初始模糊核进行如上处理；也可以对初始模糊核依次进行不同实施方式的处理，得到不同的模糊核，例如，请参阅图像2，模糊核可以通过对其可视化，以对其展示，图2示出了一种初始模糊核，此时模糊核可视化后为二值图像，其白色部分即为模糊核对应区域，通过对其进行尺寸缩放处理可以得到如图3所示的模糊核；对图3所示的模糊核进行旋转，可以得到图4所示的模糊核；再对图4所示的模糊核进行尺寸缩放处理，可以得到图5所示的模糊核。当然，以上模糊核仅为示例，并不代表对具体的模糊核的限定。
通过以上对多种不同模糊等级的模糊核进行增强处理，可以丰富用于生成样本图像的模糊核，使得后续生成的样本集中模糊图像对应的模糊等级以及模糊方向等较为丰富，从而后续训练出的图像处理模型，能够适于不同的待处理图像的处理。
在一些实施方式中，在获取的清晰图像中，若除目标对象所在区域的其他区域所占比例较大时，还可以对清晰图像进行裁剪，以使得清晰图像中目标对象所在区域的占比增大；然后再对裁剪后的清晰图像进行如上的模糊处理。
步骤S130：根据所述每张模糊图像的模糊等级评分，生成所述每张模糊图像对应的模糊程度图像，所述每张模糊图像的模糊等级评分与所述每张模糊图像的模糊等级对应，每张模糊程度图像中每个像素点的灰度值与所述每张模糊程度图像对应的模糊图像的模糊等级评分对应。
在本申请实施例中，为了节省人工预估模糊图像的模糊等级，并对模糊图像进行标注，可以对每张模糊图像的模糊等级量化为模糊等级评分，以对模糊图像进行标注。另外，由于需要处理的待处理图像中目标对象所在区域可能仅是待处理图像中的一部分，或者待处理图像中包含多个目标对象，为区分目标对象对应的区域与其他区域的模糊程度，可以根据模糊图像的模糊等级评分，生成每张模糊图像对应的模糊程度图像，并且每张模糊程度图像中每个像素点的灰度值与每张模糊程度图像对应的模糊图像的模糊等级评分对应。不同的模糊等级评分对应了不同灰度值，从而可以根据灰度值来区分模糊等级评分。
在一些实施方式中，若模糊程度评分的范围为0～N，其中，N为不大于255的正整数，并且模糊程度评分为整数，那么模糊程度图像中像素点的灰度值可以取0～N。例如，模糊程度评分的范围为0～16，则模糊程度图像中像素点的灰度值0～16。
步骤S140：根据所述多张模糊图像，以及所述每张模糊图像对应的模糊程度图像，得到第二图像样本集。
在本申请实施例中，在生成每张模糊图像对应的模糊程度图像后，则可以根据多张模糊图像以及每张模糊图像对应的模糊程度图像，构建出第二图像样本集。
在一些实施方式中，每张模糊图像可以都与其对应的模糊程度图像作为一个样本对，也即每张模糊图像都被标注为其对应的模糊程度图像；也可以将多张模糊图像合成为一张模糊图像，使得到的模糊图像包含多个目标对象，并且根据这些模糊图像对应的模糊程度图像，形成合成的模糊图像对应的模糊程度图像，而合成的模糊图像与其对应的模糊程度图像可以作为一个样本对。
步骤S150：根据所述第二图像样本集，对初始模型进行训练，得到图像处理模型，所述图像处理模型用于根据输入图像输出所述输入图像对应的模糊程度图像。
在本申请实施例中，在获得以上第二图像样本集后，则可以根据第二图像样本集，对初始模型进行训练，以得到用于根据输入图像输出输入图像对应的模糊程度图像的图像处理模型。
在一些实施方式中，初始模型可以是机器学习模型，或者是深度学习模型，如编码器-解码器模型(encoder-decoder模型)、沙漏网络、自编码网络等；又例如，为方便图像处理模型部署于移动终端类的电子设备，初始模型可以为基于Unet网络的模型。
可选的，初始模型可以为卷积神经网络。示例性的，初始模型包括编码网络以及解码网络，输入编码网络的图像经过卷积、批归一化(BN)和激活函数(Relu)激活后，输出图像特征，解码网络对输入的图像特征，进行卷积、批归一化和Relu函数的激活，然后再通过多个残差块及卷积层后，输出模糊程度图像。
在一些实施方式中，根据第二图像样本集，对初始模型进行训练时，可以将第二图像样本集中的模糊图像作为输入，输入到初始模型，得到初始模型的输出结果；然后获取输出结果与输入的模糊图像对应的模糊程度图像之间的差异作为损失值，对初始模型进行迭代训练，直至初始模型满足预设条件。
可选的，在获取到以上损失值后，可以按反向传播算法反传损失值的梯度，更新初始模型中的参数，直至满足预设条件。预设条件可以为：损失值小于预设值、损失值不再变化、或者训练次数达到预设次数等。可以理解的，在根据第二图像样本集对初始模型进行多个训练周期的迭代训练后，其中，每个训练周期包括多次的迭代训练，不断对初始模型的参数进行优化，则以上损失值越来越小，最后变小为一个固定值，或者小于以上预设值，此时，则表示初始模型已收敛；当然也可以是在训练次数达到预设次数后，确定初始模型已经收敛。
本申请实施例提供的图像处理模型的训练方法，通过获取第一图像样本集，该第一图像样本集包括多张包含目标对象的清晰图像，然后根据多种模糊等级的模糊核对每张清晰图像进行模糊处理，得到多张模糊图像，根据每张模糊图像的模糊等级评分，生成每张模糊图像对应的模糊程度图像，再根据多张模糊图像，以及每张模糊图像对应的模糊程度图像，得到第二图像样本集，根据第二图像样本集，对初始模型进行训练，得到图像处理模型，获得的图像处理模型可以用于根据输入图像输出输入图像对应的模糊程度图像，从而可以在对用于检测目标对象的模糊程度的图像处理模型的训练过程中，在构建图像样本集时，可以自动标定模糊程度评分，减少人工标定成本，提升标定速度，从而提升模型的训练效率。
请参阅图6，图6示出了本申请另一个实施例提供的图像处理模型的训练方法的流程示意图。该图像处理模型的训练方法应用于上述电子设备，下面将针对图6所示的流程进行详细的阐述，所述图像处理模型的训练方法具体可以包括以下步骤：
步骤S210：获取第一图像样本集，所述第一图像样本集包括多张包含目标对象的清晰图像。
步骤S220：根据多种模糊核，对所述第一图像样本集中的每张清晰图像进行模糊处理，得到多张模糊图像，其中，所述多种模糊核包括多种模糊等级的模糊核，每张模糊图像的模糊等级与其对应的模糊核的模糊等级对应。
在本申请实施例中，步骤S210以及步骤S220可以参阅前述实施例的内容，在此不再赘述。
步骤S230：获取所述多种模糊核中每种模糊核对应的椭圆的长轴长度以及短轴长度。
在本申请实施例中，模糊核被可视化后得到的图像为包含椭圆的图像，而模糊核的模糊程度不同，则该椭圆的长轴和短轴的长度也不同。因此，模糊核的模糊程度可以根据模糊核的长轴和短轴的长度来衡量，从而对根据模糊核的长轴和短轴的长度对模糊程度进行量化。具体地，可以获取多种模糊核中每种模糊核对应的椭圆的长轴长度以及短轴长度。
步骤S240：基于所述每种模糊核对应的长轴长度以短轴长度，生成所述每种模糊核对应的模糊等级评分。
在本申请实施例中，在获取到多种模糊核中每种模糊核对应的椭圆的长轴长度以及短轴长度之后，则可以基于每种模糊核对应的椭圆的长轴长度以及短轴长度，生成所述每种模糊核对应的模糊等级评分。
在一些实施方式中，请参阅图7，基于所述每种模糊核对应的长轴长度以短轴长度，生成所述每种模糊核对应的模糊等级评分，可以包括：
步骤S241：基于长轴的第一权重以及短轴的第二权重，对所述每种模糊核对应的长轴长度以及短轴长度进行加权求和，得到所述每种模糊核对应的和值；
步骤S242：获取所述每种模糊核对应的和值与最大和值的比值，得到所述每种模糊核对应的比值，所述最大和值为基于所述第一权重以及第二权重，对最大模糊程度对应的模糊核的长轴长度以短轴长度进行加权求和得到的和值；
步骤S243：获取所述每种模糊核对应的比值与最大模糊等级评分值的乘积，得到所述每种模糊核对应的模糊等级评分。
在该实施方式中，每种模糊核对应的模糊等级评分可以基于以下公式计算：
其中，L1为长轴长度；L2为短轴长度；B为模糊等级评分；a1为模糊核的长轴对应的第一权重；a2为模糊核的短轴对应的第二权重；ML为基于所述第一权重以及第二权重，对所有模糊核中最大模糊程度的模糊核的长轴长度以短轴长度进行加权求和得到的和值，所有模糊核中最大模糊对应的模糊核长短轴加权值；NB为规定的最大模糊等级评分值。例如，模糊等级评分的范围为0～16，则NB取16。
另外，在计算出的以上乘积不为整数时，还可以对其取整(例如四舍五入的方式取整)，以便后续生成不同灰度值的模糊程度图像。
在另一些实施方式中，也可以对每种模糊核对应的长轴长度依据短轴长度进行加权求和，得到所述每种模糊核对应的和值之后，将该和值除以预设值，以得到0～255的值，作为模糊等级评分；在得到的值不为整数时，还可以对其取整(例如四舍五入的方式取整)，以便后续生成不同灰度值的模糊程度图像。
在又一些实施方式中，对每种模糊核对应的长轴长度以及短轴长度进行加权求和，得到所述每种模糊核对应的和值之后，若所有和值的范围不超过0～255的范围，也可以将该和值取整后直接作为模糊等级评分。
当然，根据模糊核的长轴长度以及短轴长度对模糊程度进行量化的具体方式可以不做限定。
步骤S250：基于所述每种模糊核对应的模糊等级评分，确定所述每张模糊图像的模糊等级评分。
在本申请实施例中，在获取到每种模糊核对应的模糊等级评分之后，则可以基于每种模糊核对应的模糊等级评分，确定每张模糊图像的模糊等级评分。其中，每张模糊图像的模糊等级评分可以根据其对应的模糊核所对应的模糊等级评分确定，也就是说，每张模糊图像对应的模糊核的糊等级评分，即为该模糊图像的模糊等级评分。
步骤S260：根据所述每张模糊图像的模糊等级评分，生成所述每张模糊图像对应的模糊程度图像，所述每张模糊图像的模糊等级评分与所述每张模糊图像的模糊等级对应，每张模糊程度图像中每个像素点的灰度值与所述每张模糊程度图像对应的模糊图像的模糊等级评分对应。
步骤S270：根据所述多张模糊图像，以及所述每张模糊图像对应的模糊程度图像，得到第二图像样本集。
步骤S280：根据所述第二图像样本集，对初始模型进行训练，得到图像处理模型，所述图像处理模型用于根据输入图像输出所述输入图像对应的模糊程度图像。
在本申请实施例中，步骤S260～步骤S270可以参阅其他实施例的内容，在此不再赘述。
本申请实施例提供的图像处理模型的训练方法，通过获取包括多张包含目标对象的清晰图像，然后根据多种模糊等级的模糊核对每张清晰图像进行模糊处理，得到多张模糊图像，根据每张模糊图像的模糊等级评分，生成每张模糊图像对应的模糊程度图像，再根据多张模糊图像，以及每张模糊图像对应的模糊程度图像，得到第二图像样本集，根据第二图像样本集，对初始模型进行训练，得到图像处理模型，获得的图像处理模型可以用于根据输入图像输出输入图像对应的模糊程度图像，从而可以在对用于检测目标对象的模糊程度的图像处理模型的训练过程中，在构建图像样本集时，可以自动标定模糊程度评分，减少人工标定成本，提升标定速度，从而提升模型的训练效率。另外，提供了模糊等级的量化方式，根据模糊核的长轴和短轴的长度，对模糊核对应的模糊程度进行量化，从而完成对生成的模糊图像的模糊程度的量化。
请参阅图8，图8示出了本申请又一个实施例提供的图像处理模型的训练方法的流程示意图。该图像处理模型的训练方法应用于上述电子设备，下面将针对图8所示的流程进行详细的阐述，所述图像处理模型的训练方法具体可以包括以下步骤：
步骤S310：获取第一图像样本集，所述第一图像样本集包括多张包含目标对象的清晰图像。
步骤S320：根据多种模糊核，对所述第一图像样本集中的每张清晰图像进行模糊处理，得到多张模糊图像，其中，所述多种模糊核包括多种模糊等级的模糊核，每张模糊图像的模糊等级与其对应的模糊核的模糊等级对应。
步骤S330：根据所述每张模糊图像的模糊等级评分，生成所述每张模糊图像对应的模糊程度图像，所述每张模糊图像的模糊等级评分与所述每张模糊图像的模糊等级对应，每张模糊程度图像中每个像素点的灰度值与所述每张模糊程度图像对应的模糊图像的模糊等级评分对应。
在本申请实施例中，步骤S310～步骤S330可以参阅其他实施例的内容，在此不再赘述
步骤S340：将所述每张模糊图像的图像尺寸随机缩放为目标尺寸等级对应的图像尺寸，所述目标尺寸等级为多种尺寸等级中任一尺寸等级。
在本申请实施例中，考虑到在实际的待处理图像中，目标对象对应区域的尺寸存在一定差异，若将不同尺寸的图像缩放到统一尺寸上预测模糊程度，会存在缩放比例过度而导致最终模糊预测不准确。例如，拍摄时，照片中人脸尺寸上存在一定差异，若将不同大小人脸缩放到统一尺寸上预测模糊程度，会存在缩放比例过度而导致最终人脸模糊预测不准确。因此，可以将不同尺寸的图像的缩放比例控制在一定范围内，杜绝大尺度缩放带来的模糊预测不准的问题。
在模型训练过程中，可以将每张模糊图像的图像尺寸随机缩放为目标尺寸等级对应的图像尺寸。其中，目标尺寸等级为多种尺寸等级中任一尺寸等级。可选的，目标尺寸等级可以分为三种尺寸等级，三种尺寸等级分别对应第一尺寸等级、第二尺寸等级以及第三尺寸等级，并且第一尺寸等级、第二尺寸等级以及第三尺寸等级对应不同的图像尺寸依次增大，从而可以将模糊图像缩放为三种尺寸等级的图像。
步骤S350：根据缩放后的每张模糊图像的图像尺寸对应的尺寸等级，将所述多张模糊图像划分为不同的模糊图像组合，得到多个模糊图像组合，所述模糊图像组合中包含多张不同尺寸等级的模糊图像。
在本申请实施例中，考虑到在实际的待处理图中，可能出现多个目标对象，目标对象的数量不确定，若将每个目标对象依次裁剪出，再送入模型进行模糊程度的检测，则检测效率低下。例如，拍摄时，画面中会出现0～n张人脸，n为正整数，人脸的数量是不确定的，需要将n张人脸裁剪出后再依次送入网络进行模糊预测，如此预测时间不固定，且耗时久，效率低下。因此，在构建样本图像集合时，可以生成包含多个目标对象的样本图像。具体地，可以根据缩放后的每张模糊图像的图像尺寸对应的尺寸等级，将多张模糊图像划分为不同的模糊图像组合，得到多个模糊图像组合，每个模糊图像组合中包含不同尺寸等级的模糊图像。
步骤S360：生成所述多个模糊图像组合中每个模糊图像组合对应的合成图像，所述合成图像包含其对应的模糊图像组合中的模糊图像。
在本申请实施例中，在得到以上多个模糊图像组合之后，则可以根据每个模糊图像组合中的模糊图像，进行合成，从而生成每个模糊图像组合对应的合成图像，每张合成图像中包含其对应的模糊图像组合中的模糊图像。
在一些实施方式中，在图像包含多个目标对象时，为规范目标对象的排布，以提升模型检测模糊程度的准确性，在生成多个模糊图像组合中每个模糊图像组合对应的合成图像时，可以根据每个模糊图像组合中模糊图像的尺寸等级，将每个模糊图像组合的每张模糊图像设置于图像模板中的对应区域，得到每个模糊图像组合对应的合成图像，其中，图像模板中包括每种尺寸等级的模糊图像的设置区域。在该实施方式中，设置区域的位置仅需要固定即可，其具体位置可以不用限定，图像模板仅需要提供不同尺寸等级对应的固定设置区域。
示例性的，尺寸等级包含依次增大的第一尺寸等级、第二尺寸等级以及第三尺寸等级时，考虑实际拍摄时，受画幅尺寸影响，目标对象的个数会是有限的，一般不超过10个，本申请实施例中放宽到最大16个；可以将图像模板均匀划分为16个区域，以及将图像模板均匀划分为4个区域，该16个区域作为第一尺寸等级的模糊图像的设置区域，这4个区域为第二尺寸等级的模糊图像的设置区域，图像模板的整个区域为第三尺寸等级的模糊图像的设置区域，按照此规则，可以将每个模糊图像组合中模糊图像放置于图像模板中的相应区域，得到合成图像。另外，若模糊图像组合中同时存在较多的第一尺寸等级的模糊图像时，可以将第一尺寸等级的模糊图像叠加到第二尺寸等级的模糊图像上，以节省放置空间；若存在第三尺寸等级的模糊图像时，可以将第三尺寸等级的模糊图像设置于图像模板之后，将第二尺寸等级的模糊图像以及第一尺寸等级的模糊图像依次叠加于第三尺寸等级的模糊图像上，以节省放置空间。
步骤S370：根据所述合成图像中包含的模糊图像的模糊程度图像，生成所述合成图像的模糊程度图像，将所述合成图像以及合成图像对应的模糊程度图像构成的集合作为第二图像样本集。
在本申请实施例中，在生成以上每个模糊图像组合对应的合成图像后，可以按照与合成模糊图像组合中的模糊图像进行合成的合成方式，将合成图像中包含的模糊图像的模糊程度图像，进行合成，得到合成图像中包含的模糊图像的模糊程度图像。在得到每张合成图像对应的模糊程度图像之后，则可以按照每张合成图像与其对应的合成图像中包含的模糊图像的模糊程度图像作为一个样本对的方式，得到第二图像样本集，即后续用于训练初始模型的样本集。
步骤S380：根据所述第二图像样本集，对初始模型进行训练，得到图像处理模型，所述图像处理模型用于根据输入图像输出所述输入图像对应的模糊程度图像。
在本申请实施例中，步骤S380可以参阅其他实施例的内容，在此不再赘述。
在一些实施方式中，在实际利用图像处理模型进行模糊程度的检测时，若按照以上根据每个模糊图像组合中模糊图像的尺寸等级，将每个模糊图像组合的每张模糊图像设置于图像模板中的对应区域，得到每个模糊图像组合对应的合成图像的实施方式，获取的第二图像样本集，则在应用时，通过识别和检测出目标对象对应区域，然后根据目标对象对应区域的尺寸所接近的尺寸等级，将其小范围缩放，使其与规定的尺寸等级对应(即符合以上多个尺寸等级中其中一个尺寸等级)，将其放置于以上图像模板中，得到合成的输入图像，再将输入图像输入至图像处理模型，从而有效避免大尺度缩放对模糊预测的准确性造成影响，另外由于训练模型时，规定了样本图像中目标对象对应区域的排布，并且实际应用时也按照该排布，对输入图像进行规范，因此可以进一步提升模糊程度检测的准确性。例如，请参阅图9，若目标对象为人脸时，按照上述的尺寸等级包含依次增大的第一尺寸等级、第二尺寸等级以及第三尺寸等级时，图像模板中对模糊图像的设置方式，可以得到合成图像如图9所示；请参阅图10，将图9所示的合成图像输入至图像处理模型301中，可以有效地获取到该合成图像对应的模糊程度图像，其中，该模糊程度图中由于包含多个人脸区域，并且人脸区域的模糊程度存在不同，因此得到的模糊程度图像中不同人脸对应区域的灰度值也不同。
本申请实施例提供的图像处理模型的训练方法，通过获取包括多张包含目标对象的清晰图像，然后根据多种模糊等级的模糊核对每张清晰图像进行模糊处理，得到多张模糊图像，根据每张模糊图像的模糊等级评分，生成每张模糊图像对应的模糊程度图像，再根据多张模糊图像，以及每张模糊图像对应的模糊程度图像，得到第二图像样本集，根据第二图像样本集，对初始模型进行训练，得到图像处理模型，获得的图像处理模型可以用于根据输入图像输出输入图像对应的模糊程度图像，从而可以在对用于检测目标对象的模糊程度的图像处理模型的训练过程中，在构建图像样本集时，可以自动标定模糊程度评分，减少人工标定成本，提升标定速度，从而提升模型的训练效率。另外，考虑到实际处理图像中可能存在多个目标对象，因此在生成样本图像时，使其包含多张模糊图像。并且，为了避免对输入图像进行尺寸的统一缩放导致模糊检测不准确的问题，生成了多个尺寸等级的模糊图像，并且进行组合生成合成图像，从而实际应用时，不必对目标对象所在区域进行大尺度缩放，就能满足其中一个尺寸等级，从而满足输入图像的标准，以输入到图像处理模型获得结果。
请参阅图11，图11示出了本申请再一个实施例提供的图像处理模型的训练方法的流程示意图。该图像处理模型的训练方法应用于上述电子设备，下面将针对图11所示的流程进行详细的阐述，所述图像处理模型的训练方法具体可以包括以下步骤：
步骤S410：获取第一图像样本集，所述第一图像样本集包括多张包含目标对象的清晰图像。
步骤S420：根据多种模糊核，对所述第一图像样本集中的每张清晰图像进行模糊处理，得到多张模糊图像，其中，所述多种模糊核包括多种模糊等级的模糊核，每张模糊图像的模糊等级与其对应的模糊核的模糊等级对应。
步骤S430：根据所述每张模糊图像的模糊等级评分，生成所述每张模糊图像对应的模糊程度图像，所述每张模糊图像的模糊等级评分与所述每张模糊图像的模糊等级对应，每张模糊程度图像中每个像素点的灰度值与所述每张模糊程度图像对应的模糊图像的模糊等级评分对应。
步骤S440：根据所述多张模糊图像，以及所述每张模糊图像对应的模糊程度图像，得到第二图像样本集。
步骤S450：根据所述第二图像样本集，对初始模型进行训练，得到图像处理模型，所述图像处理模型用于根据输入图像输出所述输入图像对应的模糊程度图像。
在本申请实施例中，步骤S410至步骤S450可以参阅其他实施例的内容，在此不再赘述
步骤S460：将待处理图像输入至所述图像处理模型，得到所述图像处理模型输出的所述待处理图像对应的模糊程度图像。
需要说明的是，针对前述实施例中的图像处理模型，本申请实施例中还包括对该图像处理模型的应用方法。值得说明的是，以上对图像处理模型的训练可以是预先进行的，后续在每次需要对待处理图像进行处理时，则可以利用训练得到的图像处理模型进行，而无需每次对待处理图像进行处理时对图像处理模型进行训练。
在本申请实施例中，电子设备可以获取需要进行模糊程度的检测的待处理图像，其中，待处理图像中包含目标对象。可以理解地，人们在对目标对象拍摄图像时，由于可能处于移动状态，或者拍摄时存在手部抖动从而造成拍摄图像的模糊，也可能成像时由于硬件因素造成图像的模糊，而通常用户需要内容清晰的图像，因此存在对图像进行去模糊处理的需求。在需要对待处理图像进行模糊去除之前，可以先对待处理图像的模糊程度进行检测。
在一些实施方式中，电子设备为智能手机、平板电脑、智能手表等设置有摄像头的移动终端时，可以通过前置摄像头或者后置摄像头进行图像采集，从而获得待处理图像，例如，电子设备可以通过后置摄像头采集图像，并将获得的图像作为待处理图像。
在另一些实施方式中，电子设备可以从本地获取待处理图像，也就是说，电子设备可以从本地存储的文件中获取待处理图像，例如，电子设备为移动终端时，可以从相册获取待处理图像，即电子设备预先通过摄像头采集图像后存储在本地相册，或者预先从网络下载图像后存储在本地相册等，然后在需要进行模糊程度的检测时，从相册中读取待处理图像。
在又一些实施方式中，电子设备为移动终端或者电脑时，也可以从网络下载待处理图像，例如，电子设备可以通过无线网络、数据网络等从相应的服务器下载需求的待处理图像。
在再一些实施方式中，电子设备也可以通过用户在其他设备的输入操作，对输入的待处理图像进行接收，从而获得待处理图像。
当然，电子设备具体获取待处理图像的方式可以不作为限定。
在获取到待处理图像之后，可以将待处理图像输入至以上图像处理模型，以得到图像处理模型输出的模糊程度图像。
步骤S470：根据所述模糊程度图像中每个像素点的灰度值，确定所述待处理图像的模糊等级评分。
在本申请实施例中，在获取到图像处理模型输出的模糊程度图像之后，可以根据模糊程度图像中每个像素点的灰度值，确定待处理图像的模糊等级评分。
在一些实施方式中，若待处理图像中目标对象对应的区域仅是待处理图像中的一部分，则可以识别目标对象对应的区域，并且统计该区域内像素点的灰度值，最后得到该区域对应的模糊等级评分，作为待处理图像的模糊等级评分。其中，统计该区域内像素点的灰度值可以是对该区域内所有像素点的灰度值求均值等方式进行，具体的统计方式可以不做限定。
在另一些实施方式中，若待处理图像中包含多个目标对象，则可以分别识别各个目标对象所在区域，然后根据模糊程度图像中每个像素点的灰度值，确定各个目标对象所在区域的模糊等级评分。也就是说，可以统计各个目标对象所在区域内所有像素点的灰度值，得到各个目标对象所在区域的模糊等级评分，作为待处理图像的模糊等级评分。
步骤S480：在所述待处理图像的模糊等级评分大于评分阈值时，对所述待处理图像进行去模糊处理。
在本申请实施例中，在确定出待处理图像的模糊等级评分之后，可以将模糊等级评分与评分阈值进行比较；若待处理图像的模糊等级评分大于评分阈值，则表示待处理图像的模糊程度较高，因此可以对待处理图像进行去模糊处理；若待处理图像的模糊等级评分不大于评分阈值，则表示待处理图像的模糊程度较低，则可以不对待处理图像进行去模糊处理。
在一些实施方式中，可以利用预先训练的去模糊模型对待处理图像进行去模糊处理；也可以通过识别待处理图像对应的模糊核，然后采用反卷积的方式，对待处理图像进行去模糊处理。当然，去模糊的具体实现方式在本申请实施例中可以不做限定。
在一些实施方式中，若待处理图像中包含多个目标对象，可以将各个目标对象所在区域的模糊等级评分与灰度阈值进行比较，在任一目标对象所在区域的模糊等级评分大于评分阈值时，则可以对待处理图像进行去模糊处理。该情况下，可以是对待处理图像中的目标区域进行去模糊处理，目标区域为模糊等级评分大于评分阈值的目标对象所在区域。也就是说，仅对模糊等级评分大于评分阈值的区域进行去模糊处理，从而节省功耗和处理时间，提升处理效率。
在本申请实施例中，可以在对用于检测目标对象的模糊程度的图像处理模型的训练过程中，在构建图像样本集时，可以自动标定模糊程度评分，减少人工标定成本，提升标定速度，从而提升模型的训练效率。另外，还提供了图像处理模型的应用方案，通过将待处理图像输入至图像处理模型，获取输出的模糊程度图像，然后根据模糊程度图像，可以快捷地确定出待处理图像对应的模糊等级评分，在模糊等级评分大于评分阈值时，才对待处理图像进行去模糊处理，可以有效的模糊去除，并且节省计算资源。
请参阅图12，其示出了本申请实施例提供的一种图像处理模型的训练装置400的结构框图。该图像处理模型的训练装置400应用上述的电子设备，该图像处理模型的训练装置400包括：第一样本集获取模块410、第一图像获取模块420、第二图像获取模块430、第二样本集获取模块440以及模型训练模块450。所述第一样本集获取模块410用于获取第一图像样本集，所述第一图像样本集包括多张包含目标对象的清晰图像；所述第一图像获取模块420用于根据多种模糊核，对所述第一图像样本集中的每张清晰图像进行模糊处理，得到多张模糊图像，其中，所述多种模糊核包括多种模糊等级的模糊核，每张模糊图像的模糊等级与其对应的模糊核的模糊等级对应；所述第二图像获取模块430用于根据所述每张模糊图像的模糊等级评分，生成所述每张模糊图像对应的模糊程度图像，所述每张模糊图像的模糊等级评分与所述每张模糊图像的模糊等级对应，每张模糊程度图像中每个像素点的灰度值与所述每张模糊程度图像对应的模糊图像的模糊等级评分对应；所述第二样本集获取模块440用于根据所述多张模糊图像，以及所述每张模糊图像对应的模糊程度图像，得到第二图像样本集；所述模型训练模块450用于根据所述第二图像样本集，对初始模型进行训练，得到图像处理模型，所述图像处理模型用于根据输入图像输出所述输入图像对应的模糊程度图像。
在一些实施方式中，该图像处理模型的训练装置400还可以包括：长度获取模块、评分生成模块以及第一评分确定模块。长度获取模块用于获取所述多种模糊核中每种模糊核对应的椭圆的长轴长度以及短轴长度；评分生成模块用于基于所述每种模糊核对应的长轴长度以短轴长度，生成所述每种模糊核对应的模糊等级评分；第一评分确定模块用于基于所述每种模糊核对应的模糊等级评分，确定所述每张模糊图像的模糊等级评分。
在一种可能的实施方式中，长度获取模块可以用于：基于长轴的第一权重以及短轴的第二权重，对所述每种模糊核对应的长轴长度以及短轴长度进行加权求和，得到所述每种模糊核对应的和值；获取所述每种模糊核对应的和值与最大和值的比值，得到所述每种模糊核对应的比值，所述最大和值为基于所述第一权重以及第二权重，对最大模糊程度对应的模糊核的长轴长度以短轴长度进行加权求和得到的和值；获取所述每种模糊核对应的比值与最大模糊等级评分值的乘积，得到所述每种模糊核对应的模糊等级评分。
在一些实施方式中，第二样本集获取模块440可以用于：将所述每张模糊图像的图像尺寸随机缩放为目标尺寸等级对应的图像尺寸，所述目标尺寸等级为多种尺寸等级中任一尺寸等级；根据缩放后的每张模糊图像的图像尺寸对应的尺寸等级，将所述多张模糊图像划分为不同的模糊图像组合，得到多个模糊图像组合，所述模糊图像组合中包含多张不同尺寸等级的模糊图像；生成所述多个模糊图像组合中每个模糊图像组合对应的合成图像，所述合成图像包含其对应的模糊图像组合中的模糊图像；根据所述合成图像中包含的模糊图像的模糊程度图像，生成所述合成图像的模糊程度图像，将所述合成图像以及合成图像对应的模糊程度图像构成的集合作为第二图像样本集。
在一种可能的实施方式中，第二样本集获取模块440根据所述生成所述多个模糊图像组合中每个模糊图像组合对应的合成图像，包括：根据所述每个模糊图像组合中模糊图像的尺寸等级，将所述每个模糊图像组合的每张模糊图像设置于图像模板中的对应区域，得到所述每个模糊图像组合对应的合成图像，其中，所述图像模板中包括每种尺寸等级的模糊图像的设置区域。
在一些实施方式中，该图像处理模型的训练装置400还可以包括：模糊核获取模块以及模糊核处理模块。模糊核获取模块用于获取多个初始模糊核，所述多个初始模糊核包括多种模糊程度等级的模糊核；模糊核处理模块用于对每个初始模糊核进行预设增强处理，得到所述每个初始模糊核对应的多种模糊核，将所述多个初始模糊核以及所述每个初始模糊核对应的多种模糊核，作为用于对清晰图像进行模糊处理的模糊核。
在一种可能的实施方式中，模糊核处理模块对每个初始模糊核进行预设增强处理包括以下方式中的一种或多种：
对所述每个初始模糊核进行尺寸缩放处理；
对所述每个初始模糊核进行旋转处理；
对所述每个初始模糊核进行仿射变换处理；
对所述每个初始模糊核进行平移处理；以及
对所述每个初始模糊核进行边缘填充处理。
在一些实施方式中，该图像处理模型的训练装置400还可以包括：图像输入模块、第二评分确定模块以及去模糊模块。图像输入模块用于将待处理图像输入至所述图像处理模型，得到所述图像处理模型输出的所述待处理图像对应的模糊程度图像；第二评分确定模块用于根据所述模糊程度图像中每个像素点的灰度值，确定所述待处理图像的模糊等级评分；去模糊模块用于在所述待处理图像的模糊等级评分大于评分阈值时，对所述待处理图像进行去模糊处理。
在一种可能的实施方式中，所述待处理图像包括多个目标对象，第二评分确定模块可以用于根据所述模糊程度图像中每个像素点的灰度值，确定所述待处理图像中每个目标对象所在区域的模糊等级评分，作为所述待处理图像的模糊等级评分；去模糊模块可以用于在任一目标对象所在区域的模糊等级评分大于评分阈值时，对所述待处理图像进行去模糊处理。
在该实施方式下，去模糊模块可以用于：在任一目标对象所在区域的模糊等级评分大于评分阈值时，对所述待处理图像中的目标区域进行去模糊处理，所述目标区域为模糊等级评分大于所述评分阈值的目标对象所在区域。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
综上所述，本申请提供的方案，通过获取第一图像样本集，该第一图像样本集包括多张包含目标对象的清晰图像，然后根据多种模糊核，对第一图像样本集中的每张清晰图像进行模糊处理，得到多张模糊图像，其中，所述多种模糊核包括多种模糊等级的模糊核，每张模糊图像的模糊等级与其对应的模糊核的模糊等级对应，根据每张模糊图像的模糊等级评分，生成每张模糊图像对应的模糊程度图像，每张模糊图像的模糊等级评分与每张模糊图像的模糊等级对应，每张模糊程度图像中每个像素点的灰度值与每张模糊程度图像对应的模糊图像的模糊等级评分对应，再根据多张模糊图像，以及每张模糊图像对应的模糊程度图像，得到第二图像样本集，根据第二图像样本集，对初始模型进行训练，得到图像处理模型，获得的图像处理模型可以用于根据输入图像输出输入图像对应的模糊程度图像，从而可以在对用于检测目标对象的模糊程度的图像处理模型的训练过程中，在构建图像样本集时，可以自动标定模糊程度评分，减少人工标定成本，提升标定速度，从而提升模型的训练效率。
请参考图13，其示出了本申请实施例提供的一种电子设备的结构框图。该电子设备100可以是智能手机、平板电脑、智能手表、智能眼镜、笔记本电脑、服务器等能够运行应用程序的计算机设备。本申请中的电子设备100可以包括一个或多个如下部件：处理器110、存储器120、以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。
处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个电子设备100内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行电子设备100的各种功能和处理数据。可选地，处理器110可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit，CPU)、图形处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器110中，单独通过一块通信芯片进行实现。
存储器120可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
请参考图14，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质800中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质800可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质800包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (11)

1.一种图像处理模型的训练方法，其特征在于，所述方法包括：
获取第一图像样本集，所述第一图像样本集包括多张包含目标对象的清晰图像；
根据多种模糊核，对所述第一图像样本集中的每张清晰图像进行模糊处理，得到多张模糊图像，其中，所述多种模糊核包括多种模糊等级的模糊核，每张模糊图像的模糊等级与其对应的模糊核的模糊等级对应；
获取所述多种模糊核中每种模糊核对应的椭圆的长轴长度以及短轴长度；
基于长轴的第一权重以及短轴的第二权重，对所述每种模糊核对应的长轴长度以及短轴长度进行加权求和，得到所述每种模糊核对应的和值；
获取所述每种模糊核对应的和值与最大和值的比值，得到所述每种模糊核对应的比值，所述最大和值为基于所述第一权重以及第二权重，对最大模糊程度对应的模糊核的长轴长度以短轴长度进行加权求和得到的和值；
获取所述每种模糊核对应的比值与最大模糊等级评分值的乘积，得到所述每种模糊核对应的模糊等级评分；
基于所述每种模糊核对应的模糊等级评分，确定所述每张模糊图像的模糊等级评分；
根据所述每张模糊图像的模糊等级评分，生成所述每张模糊图像对应的模糊程度图像，所述每张模糊图像的模糊等级评分与所述每张模糊图像的模糊等级对应，每张模糊程度图像中每个像素点的灰度值与所述每张模糊程度图像对应的模糊图像的模糊等级评分对应；
根据所述多张模糊图像，以及所述每张模糊图像对应的模糊程度图像，得到第二图像样本集；
根据所述第二图像样本集，对初始模型进行训练，得到图像处理模型，所述图像处理模型用于根据输入图像输出所述输入图像对应的模糊程度图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述多张模糊图像，以及所述每张模糊图像对应的模糊程度图像，得到第二图像样本集，包括：
将所述每张模糊图像的图像尺寸随机缩放为目标尺寸等级对应的图像尺寸，所述目标尺寸等级为多种尺寸等级中任一尺寸等级；
根据缩放后的每张模糊图像的图像尺寸对应的尺寸等级，将所述多张模糊图像划分为不同的模糊图像组合，得到多个模糊图像组合，所述模糊图像组合中包含多张不同尺寸等级的模糊图像；
生成所述多个模糊图像组合中每个模糊图像组合对应的合成图像，所述合成图像包含其对应的模糊图像组合中的模糊图像；
根据所述合成图像中包含的模糊图像的模糊程度图像，生成所述合成图像的模糊程度图像，将所述合成图像以及合成图像对应的模糊程度图像构成的集合作为第二图像样本集。
3.根据权利要求2所述的方法，其特征在于，所述生成所述多个模糊图像组合中每个模糊图像组合对应的合成图像，包括：
根据所述每个模糊图像组合中模糊图像的尺寸等级，将所述每个模糊图像组合的每张模糊图像设置于图像模板中的对应区域，得到所述每个模糊图像组合对应的合成图像，其中，所述图像模板中包括每种尺寸等级的模糊图像的设置区域。
4.根据权利要求1所述的方法，其特征在于，在所述根据多种模糊核，对所述第一图像样本集中的每张清晰图像进行模糊处理之前，所述方法还包括：
获取多个初始模糊核，所述多个初始模糊核包括多种模糊程度等级的模糊核；
对每个初始模糊核进行预设增强处理，得到所述每个初始模糊核对应的多种模糊核，将所述多个初始模糊核以及所述每个初始模糊核对应的多种模糊核，作为用于对清晰图像进行模糊处理的模糊核。
5.根据权利要求4所述的方法，其特征在于，所述对每个初始模糊核进行预设增强处理包括以下方式中的一种或多种：
对所述每个初始模糊核进行尺寸缩放处理；
对所述每个初始模糊核进行旋转处理；
对所述每个初始模糊核进行仿射变换处理；
对所述每个初始模糊核进行平移处理；以及
对所述每个初始模糊核进行边缘填充处理。
6.根据权利要求1-5任一项所述的方法，其特征在于，在所述根据所述第二图像样本集，对初始模型进行训练，得到图像处理模型之后，所述方法还包括：
将待处理图像输入至所述图像处理模型，得到所述图像处理模型输出的所述待处理图像对应的模糊程度图像；
根据所述模糊程度图像中每个像素点的灰度值，确定所述待处理图像的模糊等级评分；
在所述待处理图像的模糊等级评分大于评分阈值时，对所述待处理图像进行去模糊处理。
7.根据权利要求6所述的方法，其特征在于，所述待处理图像包括多个目标对象，所述根据所述模糊程度图像中每个像素点的灰度值，确定所述待处理图像的模糊等级评分，包括：
根据所述模糊程度图像中每个像素点的灰度值，确定所述待处理图像中每个目标对象所在区域的模糊等级评分，作为所述待处理图像的模糊等级评分；
所述在所述待处理图像的模糊等级评分大于评分阈值时，对所述待处理图像进行去模糊处理，包括：
在任一目标对象所在区域的模糊等级评分大于评分阈值时，对所述待处理图像进行去模糊处理。
8.根据权利要求7所述的方法，其特征在于，所述在任一目标对象所在区域的模糊等级评分大于评分阈值时，对所述待处理图像进行去模糊处理，包括：
在任一目标对象所在区域的模糊等级评分大于评分阈值时，对所述待处理图像中的目标区域进行去模糊处理，所述目标区域为模糊等级评分大于所述评分阈值的目标对象所在区域。
9.一种图像处理模型的训练装置，其特征在于，所述装置包括：第一样本集获取模块、第一图像获取模块、长度获取模块、评分生成模块、第一评分确定模块、第二图像获取模块、第二样本集获取模块以及模型训练模块，其中，
所述第一样本集获取模块用于获取第一图像样本集，所述第一图像样本集包括多张包含目标对象的清晰图像；
所述第一图像获取模块用于根据多种模糊核，对所述第一图像样本集中的每张清晰图像进行模糊处理，得到多张模糊图像，其中，所述多种模糊核包括多种模糊等级的模糊核，每张模糊图像的模糊等级与其对应的模糊核的模糊等级对应；
所述长度获取模块用于获取所述多种模糊核中每种模糊核对应的椭圆的长轴长度以及短轴长度；
所述评分生成模块用于基于长轴的第一权重以及短轴的第二权重，对所述每种模糊核对应的长轴长度以及短轴长度进行加权求和，得到所述每种模糊核对应的和值；获取所述每种模糊核对应的和值与最大和值的比值，得到所述每种模糊核对应的比值，所述最大和值为基于所述第一权重以及第二权重，对最大模糊程度对应的模糊核的长轴长度以短轴长度进行加权求和得到的和值；获取所述每种模糊核对应的比值与最大模糊等级评分值的乘积，得到所述每种模糊核对应的模糊等级评分；
所述第一评分确定模块用于基于所述每种模糊核对应的模糊等级评分，确定所述每张模糊图像的模糊等级评分；
所述第二图像获取模块用于根据所述每张模糊图像的模糊等级评分，生成所述每张模糊图像对应的模糊程度图像，所述每张模糊图像的模糊等级评分与所述每张模糊图像的模糊等级对应，每张模糊程度图像中每个像素点的灰度值与所述每张模糊程度图像对应的模糊图像的模糊等级评分对应；
所述第二样本集获取模块用于根据所述多张模糊图像，以及所述每张模糊图像对应的模糊程度图像，得到第二图像样本集；
所述模型训练模块用于根据所述第二图像样本集，对初始模型进行训练，得到图像处理模型，所述图像处理模型用于根据输入图像输出所述输入图像对应的模糊程度图像。
10.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1-8任一项所述的方法。
11.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-8任一项所述的方法。
CN202110432554.9A 2021-04-21 2021-04-21 图像处理模型的训练方法、装置、电子设备及存储介质 Active CN113139942B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110432554.9A CN113139942B (zh) 2021-04-21 2021-04-21 图像处理模型的训练方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110432554.9A CN113139942B (zh) 2021-04-21 2021-04-21 图像处理模型的训练方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113139942A CN113139942A (zh) 2021-07-20
CN113139942B true CN113139942B (zh) 2023-10-31

Family

ID=76813131

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110432554.9A Active CN113139942B (zh) 2021-04-21 2021-04-21 图像处理模型的训练方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113139942B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106920229A (zh) * 2017-01-22 2017-07-04 北京奇艺世纪科技有限公司 图像模糊区域自动检测方法及系统
CN108898579A (zh) * 2018-05-30 2018-11-27 腾讯科技（深圳）有限公司 一种图像清晰度识别方法、装置和存储介质
CN111462010A (zh) * 2020-03-31 2020-07-28 腾讯科技（深圳）有限公司 图像处理模型的训练方法、图像处理方法、装置及设备
CN111914939A (zh) * 2020-08-06 2020-11-10 平安科技（深圳）有限公司 识别模糊图像的方法、装置、设备及计算机可读存储介质
CN112102185A (zh) * 2020-09-04 2020-12-18 腾讯科技（深圳）有限公司 基于深度学习的图像去模糊方法及装置、电子设备
CN112561879A (zh) * 2020-12-15 2021-03-26 北京百度网讯科技有限公司 模糊度评价模型训练方法、图像模糊度评价方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108629743B (zh) * 2018-04-04 2022-03-25 腾讯科技（深圳）有限公司 图像的处理方法、装置、存储介质和电子装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106920229A (zh) * 2017-01-22 2017-07-04 北京奇艺世纪科技有限公司 图像模糊区域自动检测方法及系统
CN108898579A (zh) * 2018-05-30 2018-11-27 腾讯科技（深圳）有限公司 一种图像清晰度识别方法、装置和存储介质
CN111462010A (zh) * 2020-03-31 2020-07-28 腾讯科技（深圳）有限公司 图像处理模型的训练方法、图像处理方法、装置及设备
CN111914939A (zh) * 2020-08-06 2020-11-10 平安科技（深圳）有限公司 识别模糊图像的方法、装置、设备及计算机可读存储介质
CN112102185A (zh) * 2020-09-04 2020-12-18 腾讯科技（深圳）有限公司 基于深度学习的图像去模糊方法及装置、电子设备
CN112561879A (zh) * 2020-12-15 2021-03-26 北京百度网讯科技有限公司 模糊度评价模型训练方法、图像模糊度评价方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
融合LSTM的DCNN及其图像模糊类型和参数识别;黄绿娥;吴禄慎;陈华伟;;应用基础与工程科学学报(第5期);全文 *

Also Published As

Publication number Publication date
CN113139942A (zh) 2021-07-20

Similar Documents

Publication Publication Date Title
CN108961303B (zh) 一种图像处理方法、装置、电子设备和计算机可读介质
CN108229526B (zh) 网络训练、图像处理方法、装置、存储介质和电子设备
CN111415358B (zh) 图像分割方法、装置、电子设备及存储介质
CN109583449A (zh) 字符识别方法及相关产品
CN112308866B (zh) 图像处理方法、装置、电子设备及存储介质
CN111814810A (zh) 图像识别方法、装置、电子设备及存储介质
CN111105017B (zh) 神经网络量化方法、装置及电子设备
CN113139917A (zh) 图像处理方法、装置、电子设备及存储介质
CN111274999B (zh) 数据处理、图像处理方法、装置及电子设备
CN107908998B (zh) 二维码解码方法、装置、终端设备及计算机可读存储介质
CN111640123B (zh) 无背景图像的生成方法、装置、设备及介质
CN107644423B (zh) 基于场景分割的视频数据实时处理方法、装置及计算设备
CN109035257B (zh) 人像分割方法、装置及设备
CN113888431A (zh) 图像修复模型的训练方法、装置、计算机设备及存储介质
CN111814913A (zh) 图像分类模型的训练方法、装置、电子设备及存储介质
CN112418327A (zh) 图像分类模型的训练方法、装置、电子设备以及存储介质
CN112418243A (zh) 特征提取方法、装置及电子设备
CN117315377B (zh) 基于机器视觉的图像处理方法、装置及电子设备
CN114494775A (zh) 视频切分方法、装置、设备及存储介质
CN113139942B (zh) 图像处理模型的训练方法、装置、电子设备及存储介质
CN110516202B (zh) 文档生成器的获取方法、文档生成方法、装置及电子设备
CN110689496A (zh) 降噪模型的确定方法、装置、电子设备和计算机存储介质
CN112102208B (zh) 带边缘保持的水下图像处理系统、方法、装置和介质
CN114511702A (zh) 一种基于多尺度分权注意力的遥感图像分割方法和系统
KR20220001417A (ko) 전자 장치 및 전자 장치의 제어 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant