CN112950626A - 清晰度的确定方法、介质、装置和计算设备 - Google Patents

清晰度的确定方法、介质、装置和计算设备 Download PDF

Info

Publication number
CN112950626A
CN112950626A CN202110351342.8A CN202110351342A CN112950626A CN 112950626 A CN112950626 A CN 112950626A CN 202110351342 A CN202110351342 A CN 202110351342A CN 112950626 A CN112950626 A CN 112950626A
Authority
CN
China
Prior art keywords
target image
definition
region
weight
level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110351342.8A
Other languages
English (en)
Inventor
罗凡
许盛辉
潘照明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Media Technology Beijing Co Ltd
Original Assignee
Netease Media Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Media Technology Beijing Co Ltd filed Critical Netease Media Technology Beijing Co Ltd
Priority to CN202110351342.8A priority Critical patent/CN112950626A/zh
Publication of CN112950626A publication Critical patent/CN112950626A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明的实施方式提供了一种清晰度的确定方法、介质、装置和计算设备。该方法包括：提取目标图像的特征；根据特征，确定目标图像的每个区域的清晰度等级概率以及每个区域的权重；利用每个区域的清晰度等级概率以及每个区域的权重，确定目标图像的清晰度等级。本发明实施例对目标图像清晰度的确定参考了目标图像每个区域的权重和清晰度等级概率。相比于相关技术，无需人工标注从即可实现清晰度确定过程的自动化、高效化。另外，相比于图像块的抽取方式，可以节省算力，同时对清晰度等级的确定准确度更高。

Description

清晰度的确定方法、介质、装置和计算设备
技术领域
本发明的实施方式涉及图像处理技术领域，更具体地，本发明的实施方式涉及清晰度的确定方法、介质、装置和计算设备。
背景技术
本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
目前，图像的清晰度判定可以分为有参考判定和无参考判定。有参考判定是指有原始图像，判断原始图像和参考图像清晰度的关系。无参考判定是在不存在参考图像，判断原始图像清晰度和预先设定的清晰度标准的关系。
对于无参考判定，相关技术依赖于人工标注或从待确定清晰度的图像中抽取图像块进行清晰度确认等方式。但相关技术存在标注成本高，以及由于抽取出的图像块代表性差、重叠率高等问题导致准确率低等缺陷。
发明内容
本发明期望提供一种清晰度的确定方法、介质、装置和计算设备，以解决人工标注成本高以及图像块的重复计算问题，提高图像清晰度确定的效率和准确度。
在本发明实施方式的第一方面中，提供了一种清晰度的确定方法，该方法可以包括：
提取目标图像的特征；
根据特征，确定目标图像的每个区域的清晰度等级概率以及每个区域的权重；
利用每个区域的清晰度等级概率以及每个区域的权重，确定目标图像的清晰度等级。
在本公开的一个实施例中，利用每个区域的清晰度等级概率以及每个区域的权重，确定目标图像的清晰度等级可以包括：
对每个区域的清晰度等级概率以及权重进行降维处理，得到降维处理结果；
计算每个区域的权重和；
利用降维处理结果与权重和，确定目标图像的清晰度等级。
在本公开的一个实施例中，利用降维处理结果与权重和，确定目标图像的清晰度等级可以包括：
计算降维处理结果与权重和的比值；
根据比值，利用分类模型得到目标图像的清晰度等级。
在本公开的一个实施例中，提取目标图像的特征，包括：
对目标图像进行缩放处理，得到预定分辨率的目标图像；
利用特征提取模型，对预定分辨率的目标图像进行特征提取，得到预定分辨率的目标图像的特征矩阵；将特征矩阵作为目标图像的特征。
在本公开的一个实施例中，根据特征，确定目标图像的每个区域的清晰度等级概率以及每个区域的权重可以包括：
利用清晰度等级识别模型，根据特征得到目标图像每个区域对应的不同清晰度等级概率；
利用权重识别模型，根据特征得到目标图像每个区域对应的权重；
将每个区域的不同清晰度等级概率与权重进行关联。
在本公开的一个实施例中，还包括：
利用特征提取模型，提取目标图像的特征；
利用清晰度等级识别模型，得到目标图像每个区域对应的不同清晰度等级概率；
利用权重识别模型，得到目标图像每个区域对应的权重；
利用分类模型，确定目标图像的清晰度等级；
特征提取模型、清晰度等级识别模型、权重识别模型和分类模型组成端到端模型，端到端模型的输入为目标图像，输出为目标图像的清晰度等级的端到端模型。
在本公开的一个实施例中，在目标图像是对目标视频进行视频帧抽取而获取到的情况下，还包括：
根据各目标图像的清晰度等级，确定目标视频的清晰度等级。
在本发明实施方式的第二方面中，提供了一种清晰度的确定装置，该装置可以包括：
特征提取模块，用于提取目标图像的特征；
分析模块，用于根据特征，确定目标图像的每个区域的清晰度等级概率以及每个区域的权重；
清晰度等级确定模块，用于利用每个区域的清晰度等级概率以及每个区域的权重，确定目标图像的清晰度等级。
在本公开的一个实施例中，清晰度等级确定模块可以包括：
降维处理子模块，用于对每个区域的清晰度等级概率以及权重进行降维处理，得到降维处理结果；
权重和计算子模块，用于计算每个区域的权重和；
清晰度等级确定执行子模块，用于利用降维处理结果与权重和，确定目标图像的清晰度等级。
在本公开的一个实施例中，清晰度等级确定执行子模块，包括：
比值计算单元，用于计算降维处理结果与权重和的比值；
清晰度等级确定执行单元，用于根据比值，利用分类模型得到目标图像的清晰度等级。
在本公开的一个实施例中，特征提取模块可以包括：
缩放处理子模块，用于对目标图像进行缩放处理，得到预定分辨率的目标图像；
特征提取执行子模块，用于利用特征提取模型，对预定分辨率的目标图像进行特征提取，得到预定分辨率的目标图像的特征矩阵；将特征矩阵作为目标图像的特征。
在本公开的一个实施例中，分析模块可以包括：
清晰度等级概率确定子模块，用于利用清晰度等级识别模型，根据特征得到目标图像每个区域对应的不同清晰度等级概率；
权重确定子模块，用于利用权重识别模型，根据特征得到目标图像每个区域对应的权重；
关联子模块，用于将每个区域的不同清晰度等级概率与权重进行关联。
在本公开的一个实施例中，还包括：
特征提取模块利用特征提取模型，提取目标图像的特征；
分析模块利用清晰度等级识别模型，得到目标图像每个区域对应的不同清晰度等级概率；
分析模块还利用权重识别模型，得到目标图像每个区域对应的权重；
清晰度等级确定模块利用分类模型，确定目标图像的清晰度等级；
特征提取模型、清晰度等级识别模型、权重识别模型和分类模型组成端到端模型，端到端模型的输入为目标图像，输出为目标图像的清晰度等级的端到端模型。
在本公开的一个实施例中，在目标图像是对目标视频进行视频帧抽取而获取到的情况下，还包括：
目标视频清晰度等级确定模块，用于根据各目标图像的清晰度等级，确定目标视频的清晰度等级。
在本发明实施方式的第三方面中，提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现上述清晰度的确定方法的步骤。
在本发明实施方式的第四方面中，提供了一种计算设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现清晰度的确定方法的步骤。
根据本发明实施方式的清晰度的确定方法和装置，可以基于目标图像整体提取特征，得到目标图像每个区域的权重和清晰度等级概率。对目标图像清晰度的评判参考了目标图像每个区域的权重和清晰度等级概率。相比于相关技术，无需人工标注从即可以实现清晰度确定过程的自动化、高效化。另外，相比于图像块的抽取方式，本申请的上述方案对清晰度等级的确定准确度更高。
附图说明
通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：
图1示意性地示出了根据本发明一实施方式的清晰度的确定方法实现流程图一；
图2示意性地示出了根据本发明一实施方式的清晰度的确定方法中，步骤S13的一种实现流程图；
图3示意性地示出了根据本发明一实施方式的清晰度的确定方法中，步骤S23的一种实现流程图；
图4示意性地示出了根据本发明一实施方式的清晰度的确定方法中，步骤S11的一种实现流程图；
图5示意性地示出了根据本发明一实施方式的清晰度的确定方法中，步骤S12的一种实现流程图；
图6示意性地示出了根据本发明一实施方式的清晰度的确定方法实现流程图二；
图7示意性地示出了根据本发明一实施方式的用于清晰度的确定方法的介质示意图；
图8示意性地示出了根据本发明一实施方式的清晰度的确定装置结构示意图；
图9示意性地示出了根据本发明一实施方式的计算设备的结构示意图。
在附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
根据本发明的实施方式，提出了一种清晰度的确定方法、介质、装置和计算设备。
在本文中，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。
发明概述
本发明人发现，现有的对图像清晰度的无参考判定中，依赖于人工标注或从待确定清晰度等级的图像中抽取图像块进行确定等方式。赖于人工标注的方式，标注成本过高。另外，由于抽取出的图像块代表性差、重叠率高等问题，导致确定出的图像清晰度准确度较差。
有鉴于此，本发明提供一种清晰度的确定方法和装置，可以基于目标图像整体提取特征，得到目标图像每个区域的权重和清晰度等级概率。对目标图像清晰度的评判参考了目标图像每个区域的权重和清晰度等级概率。解决人工标注成本高以及图像块的代表性差、重叠率高等问题，提高图像清晰度确定的效率和准确度。
在介绍了本发明的基本原理之后，下面具体介绍本发明的各种非限制性实施方式。
示例性方法
下面参考图1来描述根据本发明示例性实施方式的清晰度的确定方法。
如图1所示，本发明实施例的清晰度的确定方法包括以下步骤：
S11：提取目标图像的特征；
S12：根据特征，确定目标图像的每个区域的清晰度等级概率以及每个区域的权重；
S13：利用每个区域的清晰度等级概率以及每个区域的权重，确定目标图像的清晰度等级。
目标图像可以是从视频中抽取的图像，也可以是摄影图像等。对应的执行主体可以是视频展示端的服务器，图像展示端的服务器等。
可以利用预先训练的图像特征提取模型，提取目标图像的特征。图像特征提取模型可以包括多层卷积层、以及与末端卷积层连接的归一化层等。通过将目标图像输入至图像特征提取模型，可以得到目标图像的特征地图(Feature Map)。该特征地图可以表征目标图像的特征。
利用目标图像的特征，可以确定目标图像的每个区域的清晰度等级概率。
其中，清晰度等级可以设定成多类。示例性的，可以包括清晰度高、清晰度较高、清晰度一般和模糊等4个等级。对应的，目标图像在每个区域的清晰度等级概率包括4个结果。例如，针对目标图像的第一区域，清晰度高的概率为a％，清晰度较高的概率为b％，清晰度一般的概率为c％，模糊的概率为d％。其中，a％+b％+c％+d％＝100％。
上述确定目标图像的每个区域的清晰度等级概率可以通过预先训练的清晰度等级识别模型实现。
另外，利用目标图像的特征，还可以确定目标图像的每个区域的权重。例如，在目标图像中心位置的区域，权重较高。或者，目标图像中内容丰富的区域，权重较高。示例性地，目标图像包括漂泊在水面上的船舶，则，目标图像中船舶所在区域的权重较高，水面和天空所在区域的权重较低。
上述确定目标图像的每个区域的权重可以通过预先训练的权重识别模型实现。
根据目标图像的每个区域的权重以及清晰度等级概率，可以确定出目标图像的清晰度等级。例如，可以选择权重高于对应阈值的区域作为有效区域。计算有效区域的清晰度等级概率的均值。将均值所对应的清晰度等级作为目标图像的清晰度等级。
例如，有效区域的数量是m个。可以得出所有有效区域的清晰度等级概率。
示例性地，对于等级为清晰度高的情况，所有有效区域的清晰度高的概率的均值可以表示为a有效区域％，可以利用计算式(1)得到所有有效区域的清晰度高的概率的均值：
a有效区域％＝(a1％+a2％+……+am％)/m——(1)。
计算式(1)中，a1％可以表示第1个有效区域清晰度高的概率，am％可以表示第m个有效区域清晰度高的概率。
同理，可以分别计算出所有有效区域的清晰度较高的概率的均值b有效区域％、所有有效区域的清晰度一般的概率的均值c有效区域％，以及所有有效区域模糊的概率的均值d有效区域％。
可以将a有效区域％、b有效区域％、c有效区域％、d有效区域％中的最大值所对应的清晰度等级确定为目标图像的清晰度等级。
又例如，可以计算所有区域的权重和，根据各区域的权重与权重和的比值，得出每个区域在目标图像的重要性。进而根据每个区域的重要性以及每个区域的清晰度等级概率，得出目标图像整体的清晰度等级概率。计算清晰度等级概率的均值，将均值最大所对应的清晰度等级作为目标图像的清晰度等级。
仍以前述清晰度包括4个等级为例。示例性地，针对等级为清晰度高的情况，分别计算每个区域的重要性与清晰度等级为高的概率的乘积，得到乘积结果。再将每个区域的乘积结果进行求和计算，以得到目标图像在整体上清晰度等级高的加权概率之和。
根据目标图像在整体上清晰度等级为高的加权概率之和与权重和的比值，可以得到目标图像每个区域对应为清晰度等级高的概率的均值。
同理，可以分别计算出每个区域的清晰度较高的概率的均值、每个区域的清晰度一般的概率的均值，以及每个区域模糊的概率的均值。
可以通过比较，将上述均值中的最大值所对应的清晰度等级确定为目标图像的清晰度等级。
通过上述过程，尤其适用于无参考判定的情况。由于上述方案是基于目标图像整体提取特征，得到目标图像每个区域的权重和清晰度等级概率。对目标图像清晰度的评判参考了目标图像每个区域的权重和清晰度等级概率。相比于相关技术，无需人工标注从即可以实现清晰度确定的自动化、高效化。另外，相比于图像块的抽取方式，本申请的上述方案对清晰度等级的确定准确度更高。
如图2所示，在一种可能的实施方式中，步骤S13中涉及的确定目标图像的清晰度等级，具体可以包括以下步骤：
S21：对每个区域的清晰度等级概率以及权重进行降维处理，得到降维处理结果；
S22：计算每个区域的权重和；
S23：利用降维处理结果与权重和，确定目标图像的清晰度等级。
示例性地，可以采用逻辑斯蒂(Logits)的形式表征每个区域的清晰度等级概率，将清晰度等级概率作为每个区域的参数。
在确定出每个区域的权重后，可以将权重作为对应区域的参数。可以对上述参数进行降维处理，得到降维处理结果。例如，降维处理的方式可以包括全局平均池化。对于每个清晰度等级，全局平均池化可以将被确定出权重的每个区域对应的清晰度等级的概率进行求和计算，即，求和计算的对象可以是每个区域的权重与不同清晰度等级概率的乘积。
例如，针对等级为清晰度高的情况，分别计算每个区域的权重与清晰度等级为高的概率的乘积，得到乘积结果。降维处理结果可以对应每个区域的乘积结果之和。
同理，利用上述方式可以得到针对清晰度较高的情况、清晰度一般的情况和清晰度模糊的情况下，对应的降维处理的结果。
相比于采用全连接层对每个区域的清晰度等级概率以及权重进行处理，采用上述全局平均池化的方式可以大幅降低参数量。从而达到避免过度拟合的情况。
另外，降维处理的方式还可以包括全局最大池化等，在此不进行限定。
另一方面，可以计算目标图像每个区域的权重和。
以前述包括4个清晰度等级为例：
针对等级为清晰度高的情况，每个区域的清晰度等级概率分别表示为：a1％、a2％、……、an％。
针对等级为清晰度较高的情况，每个区域的清晰度等级概率分别表示为：b1％、b2％、……、bn％。
针对等级为清晰度一般的情况，每个区域的清晰度等级概率分别表示为：c1％、c2％、……、cn％。
针对等级为清晰度模糊的情况，每个区域的清晰度等级概率分别表示为：d1％、d2％、……、dn％。
根据降维处理结果与权重和，可以得出目标图像的每个区域对应不同清晰度等级概率的均值。
例如，针对等级为清晰度高时，可以对所有区域的清晰度高的概率进行求均值计算，得到a’％。
同理，得到所有区域清晰度较高的概率均值b’％、所有区域清晰度一般的概率均值c’％，以及所有区域模糊的概率均值d’％。
通过将上述概率均值进行比较，可以得到目标图像的清晰度等级。或者，还可以利用分类模型等方式得到目标图像的清晰度等级。
通过上述方案，可以利用降维处理的方式，在保证运算结果准确的前提下降低运算量。进而可以提高确定清晰度等级的整体效率。
如图3所示，在一种可能的实施方式中，步骤S23可以具体包括以下步骤：
S31：计算降维处理结果与权重和的比值；
S32：根据比值，利用分类模型得到目标图像的清晰度等级。
降维处理结果包含每个区域的权重信息以及清晰度等级概率信息。利用降维处理结果中的权重信息和前述实施方式中计算出的每个区域的权重和，可以确定出每个区域在目标图像的重要性。即，降维处理结果与权重和的比值即可表征每个区域在目标图像的重要性。
示例性地，目标图像包括n个区域。每个区域的权重可以表示为qi。i可以表示区域的序号，1＜i＜n。所有区域的权重和可以表示为q。
针对等级为清晰度高时，所有区域的清晰度高的概率可以表示为a’％。
a’％＝(a1％q1+a2％q2+……+an％qn)/q——(2)。
a1％至an％可以分别对应表示每个区域的清晰度高的概率。在公式(2)中，每个区域的重要性表示为qi/q。
同理，可以得到所有区域的其他清晰度等级对应的概率。
根据每个区域在目标图像的重要性，以及每个区域的清晰度等级概率，利用分类模型即可得到目标图像的清晰度等级。
分类模型可以是预先训练的，例如，待训练分类模型的输入数据为降维处理结果与权重和的比值的样本。待训练分类模型输出为目标图像的清晰度等级预测值。利用目标图像的清晰度等级预测值与目标图像的清晰度等级真值的差异对待训练的分类模型进行训练，直至目标图像的清晰度等级预测值与目标图像的清晰度等级真值的差异在允许范围内。在一个示例中，分类模型可以采用Softmax函数实现。
通过上述方案，利用分类模型，即可直接确定出整幅目标图像的清晰度等级。
如图4所示，在一种可能的实施方式中，步骤S11中涉及的提取目标图像的特征，可以具体包括以下步骤：
S41：对目标图像进行缩放处理，得到预定分辨率的目标图像；
S42：利用特征提取模型，对预定分辨率的目标图像进行特征提取，得到预定分辨率的目标图像的特征矩阵；将特征矩阵作为目标图像的特征。
可以对接收到的不同分辨率的目标图像进行缩放处理，将目标图像缩放至预定分辨率。由于本申请实施例所涉及的特征提取，清晰度等级概率确定，权重确定等过程可以通过模型实现。为了模型训练的稳定性，在对模型训练时可以采用预定分辨率的图像样本。因此，在对目标图像进行清晰度确认时，可以将目标图像的分辨率调整为与图像样本相同的分辨率。即，将目标图像的分辨率调整为预定分辨率，可以满足模型对目标图像清晰度等级确认结果的准确性。
特征提取模型可以包括多个卷积层，以及与最末端的卷积层连接的归一化层。多个卷积层用于对目标图像进行卷积运算，得到特征地图。特征地图可以以矩阵形式体现，即对应为特征矩阵。
例如，特征矩阵可以表示为H*W*C。其中H可以表示特征矩阵的长度、W可以表示特征矩阵的宽度、C可以表示特征矩阵的通道数量(层数)。
归一化层用于将最末端的卷积层输出的特征矩阵中的数据进行归一化处理，以转换至预定的数值区间内。预定的数值区间可以是0至1之间。
通过上述方案，可以利用特征提取模型实现对于目标图像特征的自动化提取。
如图5所示，在一种可能的实施方式中，步骤S12中涉及的根据特征，确定目标图像的每个区域的清晰度等级概率以及每个区域的权重，可以具体包括以下步骤：
S51：利用清晰度等级识别模型，根据特征得到目标图像每个区域对应的不同清晰度等级概率；
S52：利用权重识别模型，根据特征得到目标图像每个区域对应的权重；
S53：将每个区域的不同清晰度等级概率与权重进行关联。
在当前步骤中，可以采用不同的模型对目标图像的特征进行处理，从而可以分别得到目标图像每个区域对应的不同清晰度等级概率，以及目标图像每个区域对应的权重。
可以对目标图像的每个区域分别加载对应的标识信息。对于任意区域，可以通过该区域的标识信息，将不同清晰度等级概率以及权重进行关联。
通过上述方案，可以利用模型得出目标图像在每个区域的不同清晰度等级概率以及权重。
在一种可能的实施方式中，步骤S11至步骤S13还可以具体通过以下方式实现：
利用特征提取模型，提取目标图像的特征；
利用清晰度等级识别模型，得到目标图像每个区域对应的不同清晰度等级概率；
利用权重识别模型，得到目标图像每个区域对应的权重；
利用分类模型，确定目标图像的清晰度等级；
特征提取模型、清晰度等级识别模型、权重识别模型和分类模型组成端到端模型，端到端模型的输入为目标图像，输出为目标图像的清晰度等级的端到端模型。
在当前实施方式中，可以利用端到端模型执行对目标图像的特征提取、每个区域不同清晰度等级概率以及权重的确定、目标图像的清晰度等级的确定等。
相比于每个过程分别采用对应模型实现的方式，当前实施例中的端到端模型作为一个整体模型。该模型的输入为目标图像，输出为目标图像的清晰度等级。由于端到端模型的输入为目标图像，因此该模型是对目标图像的整体进行处理，从而可以使端到端模型输出的结果是表征目标图像整体清晰度的。
在训练时，可以利用已标注的图像样本对端到端模型进行训练。将图像样本输入端到端模型，得到图像样本的清晰度等级预测结果。利用清晰度等级预测结果与清晰度等级的真值之间的差异，对端到端模型进行整体训练。一方面可以提高训练效率，另外，端到端模型输出结果的准确度会高于多个模型单独训练并拼接在一起得到结果的准确度。
在一种可能的实施方式中，在目标图像是对目标视频进行视频帧抽取而获取到的情况下，还包括：
根据各目标图像的清晰度等级，确定目标视频的清晰度等级。
本申请的方案还可以适用于对视频清晰度的确定。例如，可以从目标视频中抽取多帧目标图像。抽取方式可以是随机抽取、间隔固定帧抽取等。
利用本申请的上述方案，可以确定抽取的每帧目标图像的清晰度。利用每帧目标图像的清晰度等级，可以得出目标视频的清晰度等级。例如，可以统计每帧目标图像的对应四个不同清晰度等级的概率。例如，对于第1目标帧图像，四个不同清晰度等级的概率分别为A1％、B1％、C1％、D1％。第N目标帧图像，四个不同清晰度等级的概率分别为AN％、BN％、CN％、DN％。
可以计算目标视频中所有目标图像在每个清晰度等级的概率之和。概率之和的最大值所对应的清晰度等级即可确定为目标视频的清晰度等级。
另外，还可以统计每帧目标图像的清晰度等级，将出现次数最多的清晰度等级确定为目标视频的清晰度等级。或者，还可以将清晰度等级按照数值1至4划分，计算每帧目标图像的清晰度等级的平均值。将与求均值最接近的等级作为目标视频的清晰度等级。
对于目标视频的清晰度等级确定，可以应用于视频类应用程序的服务器端。例如，在用户上传视频后，可以对用户上传视频的清晰度进行确定。对于清晰度较低的视频，可以采取不接收、删除等处理。
另外，对于已接收的视频，可以根据清晰度等级的不同采用对应的转码等级进行保存。对于清晰度等级较高的视频，可以使用高清级别转码。对于清晰度等级较低的视频，可以使用低清级别转码，减少存储的占用。
如图6所示，本发明实施例的清晰度的确定方法包括以下步骤：
S61：将目标图像缩放至预定分辨率。
目标图像包括从目标视频中进行帧抽取而获取到的图像。
S62：提取目标图像的特征。
可以利用特征提取模型提取目标图像的特征。特征提取模型可以包括多个卷积层，以及与最末端的卷积层连接的归一化层。多个卷积层用于对目标图像进行卷积运算，得到特征矩阵。该特征矩阵是最末端卷积层输出的，经过归一化层处理后的矩阵。该特征矩阵用于表征目标图像的特征，可以表示为H*W*C。其中H可以表示特征矩阵的长度、W可以表示特征矩阵的宽度、C可以表示特征矩阵的通道数量(层数)。
S63：根据目标图像的特征，确定目标图像每个区域的不同清晰度等级概率。
本步骤可以利用清晰度等级识别模型实现。
S64：根据目标图像的特征，确定目标图像的每个区域的权重。
本步骤可以利用权重识别模型实现。
S65：将每个区域的不同清晰度等级概率与权重进行关联。
S66：对步骤S65中的每个区域的不同清晰度等级概率与权重进行降维处理，得到降维处理结果。
降维处理可以包括全局最大池化、全局平均池化等。
S67：计算每个区域的权重和。
S68：利用降维处理结果与权重和，得到目标图像的不同清晰度等级概率。
利用降维处理结果以及权重和，可以得到目标图像每个区域的重要性以及不同清晰度等级概率。
S69：利用目标图像的不同清晰度等级概率，得到目标图像的清晰度等级。
将目标图像每个区域的不同清晰度等级概率按照权重计算均值，可以得到目标图像的清晰度等级概率。进而可以得到目标图像的清晰度等级。
前述特征提取模型、清晰度等级识别模型、权重识别模型以及分类模型可以是端到端模型。
示例性介质
在介绍了本发明示例性实施方式的方法之后，接下来，参考图7对本发明示例性实施方式的介质进行说明。
在一些可能的实施方式中，本发明的每个方面还可以实现为一种计算机可读介质，其上存储有程序，当所述程序被处理器执行时用于实现本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的清晰度的确定方法中的步骤。
具体地，上述处理器执行上述程序时用于实现如下步骤：
提取目标图像的特征；
根据所述特征，确定所述目标图像的每个区域的清晰度等级概率以及所述每个区域的权重；
利用所述每个区域的清晰度等级概率以及所述每个区域的权重，确定所述目标图像的清晰度等级。
需要说明的是：上述的介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
如图7所示，描述了根据本发明的实施方式的介质70，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序，并可以在设备上运行。然而，本发明不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于：电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算设备。
示例性装置
在介绍了本发明示例性实施方式的介质之后，接下来，参考图8对本发明示例性实施方式的装置进行说明。
如图8所示，本发明实施例的清晰度的确定装置可以包括：
特征提取模块81，用于提取目标图像的特征；
分析模块82，用于根据所述特征，确定所述目标图像的每个区域的清晰度等级概率以及所述每个区域的权重；
清晰度等级确定模块83，用于利用所述每个区域的清晰度等级概率以及所述每个区域的权重，确定所述目标图像的清晰度等级。
在一种可能的实施方式中，清晰度等级确定模块83可以进一步包括：
降维处理子模块831，用于对所述每个区域的清晰度等级概率以及权重进行降维处理，得到降维处理结果；
权重和计算子模块832，用于计算所述每个区域的权重和；
清晰度等级确定执行子模块833，用于利用所述降维处理结果与所述权重和，确定所述目标图像的清晰度等级。
在一种可能的实施方式中，清晰度等级确定执行子模块833可以进一步包括：
比值计算单元8331，用于计算所述降维处理结果与所述权重和的比值；
清晰度等级确定执行单元8332，用于根据所述比值，利用分类模型得到所述目标图像的清晰度等级。
在一种可能的实施方式中，特征提取模块81可以进一步包括：
缩放处理子模块811，用于对所述目标图像进行缩放处理，得到预定分辨率的目标图像；
特征提取执行子模块812，用于利用特征提取模型，对所述预定分辨率的目标图像进行特征提取，得到所述预定分辨率的目标图像的特征矩阵；将所述特征矩阵作为所述目标图像的特征。
在一种可能的实施方式中，分析模块82可以进一步包括：
清晰度等级概率确定子模块821，用于利用清晰度等级识别模型，根据所述特征得到所述目标图像每个区域对应的不同清晰度等级概率；
权重确定子模块822，用于利用权重识别模型，根据所述特征得到所述目标图像每个区域对应的权重；
关联子模块823，用于将每个区域的不同清晰度等级概率与权重进行关联。
在一种可能的实施方式中，
所述特征提取模块81利用特征提取模型，提取目标图像的特征；
所述分析模块82利用清晰度等级识别模型，得到所述目标图像每个区域对应的不同清晰度等级概率；
所述分析模块82还利用权重识别模型，得到所述目标图像每个区域对应的权重；
所述清晰度等级确定模块83利用分类模型，确定所述目标图像的清晰度等级；
所述特征提取模型、所述清晰度等级识别模型、所述权重识别模型和所述分类模型组成端到端模型，所述端到端模型的输入为目标图像，输出为所述目标图像的清晰度等级的端到端模型。
在一种可能的实施方式中，在所述目标图像是对目标视频进行视频帧抽取而获取到的情况下，还包括：
目标视频清晰度等级确定模块84，用于根据各所述目标图像的清晰度等级，确定所述目标视频的清晰度等级。
示例性计算设备
在介绍了本发明示例性实施方式的方法、介质和装置之后，接下来，参考图9对本发明示例性实施方式的计算设备进行说明。
所属技术领域的技术人员能够理解，本发明的每个方面可以实现为系统、方法或程序产品。因此，本发明的每个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
在一些可能的实施方式中，根据本发明实施方式的计算设备可以至少包括至少一个处理单元以及至少一个存储单元。其中，所述存储单元存储有程序代码，当所述程序代码被所述处理单元执行时，使得所述处理单元执行本说明书上述“示例性方法”部分中描述的根据本发明的各种示例性实施方式的清晰度的确定方法中的步骤。
下面参照图9来描述根据本发明的这种实施方式的计算设备90。图9显示的计算设备90仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图9所示，计算设备90以通用计算设备的形式表现。计算设备90的组件可以包括但不限于：上述至少一个处理单元901、上述至少一个存储单元902，连接不同系统组件(包括处理单元901和存储单元902)的总线903。
总线903包括数据总线、控制总线和地址总线。
存储单元902可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)9021和/或高速缓存存储器9022，可以进一步包括非易失性存储器形式的可读介质，例如只读存储器(ROM)9023。
存储单元902还可以包括具有一组(至少一个)程序模块9024的程序/实用工具9025，这样的程序模块9024包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
计算设备90也可以与一个或多个外部设备904(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口905进行。并且，计算设备90还可以通过网络适配器906与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图9所示，网络适配器906通过总线903与计算设备90的其它模块通信。应当理解，尽管图中未示出，可以结合计算设备90使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
应当注意，尽管在上文详细描述中提及了清晰度的确定装置的若干单元/模块或子单元/子模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (10)

1.一种清晰度的确定方法，其特征在于，包括：
提取目标图像的特征；
根据所述特征，确定所述目标图像的每个区域的清晰度等级概率以及所述每个区域的权重；
利用所述每个区域的清晰度等级概率以及所述每个区域的权重，确定所述目标图像的清晰度等级。
2.根据权利要求1所述的方法，其特征在于，所述利用所述每个区域的清晰度等级概率以及所述每个区域的权重，确定所述目标图像的清晰度等级，包括：
对所述每个区域的清晰度等级概率以及权重进行降维处理，得到降维处理结果；
计算所述每个区域的权重和；
利用所述降维处理结果与所述权重和，确定所述目标图像的清晰度等级。
3.根据权利要求2所述的方法，其特征在于，所述利用所述降维处理结果与所述权重和，确定所述目标图像的清晰度等级，包括：
计算所述降维处理结果与所述权重和的比值；
根据所述比值，利用分类模型得到所述目标图像的清晰度等级。
4.根据权利要求1所述的方法，其特征在于，所述提取目标图像的特征，包括：
对所述目标图像进行缩放处理，得到预定分辨率的目标图像；
利用特征提取模型，对所述预定分辨率的目标图像进行特征提取，得到所述预定分辨率的目标图像的特征矩阵；将所述特征矩阵作为所述目标图像的特征。
5.根据权利要求1所述的方法，其特征在于，所述根据所述特征，确定所述目标图像的每个区域的清晰度等级概率以及所述每个区域的权重，包括：
利用清晰度等级识别模型，根据所述特征得到所述目标图像每个区域对应的不同清晰度等级概率；
利用权重识别模型，根据所述特征得到所述目标图像每个区域对应的权重；
将每个区域的不同清晰度等级概率与权重进行关联。
6.根据权利要求1所述的方法，其特征在于，
利用特征提取模型，提取目标图像的特征；
利用清晰度等级识别模型，得到所述目标图像每个区域对应的不同清晰度等级概率；
利用权重识别模型，得到所述目标图像每个区域对应的权重；
利用分类模型，确定所述目标图像的清晰度等级；
所述特征提取模型、所述清晰度等级识别模型、所述权重识别模型和所述分类模型组成端到端模型，所述端到端模型的输入为目标图像，输出为所述目标图像的清晰度等级的端到端模型。
7.根据权利要求1至6任一所述的方法，其特征在于，在所述目标图像是对目标视频进行视频帧抽取而获取到的情况下，还包括：
根据各所述目标图像的清晰度等级，确定所述目标视频的清晰度等级。
8.一种清晰度的确定装置，其特征在于，包括：
特征提取模块，用于提取目标图像的特征；
分析模块，用于根据所述特征，确定所述目标图像的每个区域的清晰度等级概率以及所述每个区域的权重；
清晰度等级确定模块，用于利用所述每个区域的清晰度等级概率以及所述每个区域的权重，确定所述目标图像的清晰度等级。
9.一种介质，其存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的方法。
10.一种计算设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
CN202110351342.8A 2021-03-31 2021-03-31 清晰度的确定方法、介质、装置和计算设备 Pending CN112950626A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110351342.8A CN112950626A (zh) 2021-03-31 2021-03-31 清晰度的确定方法、介质、装置和计算设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110351342.8A CN112950626A (zh) 2021-03-31 2021-03-31 清晰度的确定方法、介质、装置和计算设备

Publications (1)

Publication Number Publication Date
CN112950626A true CN112950626A (zh) 2021-06-11

Family

ID=76231732

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110351342.8A Pending CN112950626A (zh) 2021-03-31 2021-03-31 清晰度的确定方法、介质、装置和计算设备

Country Status (1)

Country Link
CN (1) CN112950626A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113392241A (zh) * 2021-06-29 2021-09-14 中海油田服务股份有限公司 测井图像清晰度的识别方法、装置、介质及电子设备
CN113643265A (zh) * 2021-08-19 2021-11-12 深圳赛安特技术服务有限公司 基于人工智能的质量等级确定方法、装置、设备及介质
CN114820614A (zh) * 2022-06-29 2022-07-29 上海闪马智能科技有限公司 一种图像类型的确定方法、装置、存储介质及电子装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113392241A (zh) * 2021-06-29 2021-09-14 中海油田服务股份有限公司 测井图像清晰度的识别方法、装置、介质及电子设备
WO2023273017A1 (zh) * 2021-06-29 2023-01-05 中海油田服务股份有限公司 测井图像清晰度的识别方法、装置、介质及电子设备
CN113643265A (zh) * 2021-08-19 2021-11-12 深圳赛安特技术服务有限公司 基于人工智能的质量等级确定方法、装置、设备及介质
CN114820614A (zh) * 2022-06-29 2022-07-29 上海闪马智能科技有限公司 一种图像类型的确定方法、装置、存储介质及电子装置

Similar Documents

Publication Publication Date Title
CN112950626A (zh) 清晰度的确定方法、介质、装置和计算设备
CN111160469B (zh) 一种目标检测系统的主动学习方法
CN110598620B (zh) 基于深度神经网络模型的推荐方法和装置
CN110555405B (zh) 目标跟踪方法及装置、存储介质和电子设备
CN110991556B (zh) 一种基于多学生合作蒸馏的高效图像分类方法、装置、设备及介质
CN112906823B (zh) 目标对象识别模型训练方法、识别方法及识别装置
CN110046279B (zh) 视频文件特征的预测方法、介质、装置和计算设备
CN111199541A (zh) 图像质量评价方法、装置、电子设备及存储介质
CN112749666B (zh) 一种动作识别模型的训练及动作识别方法与相关装置
CN112312001B (zh) 一种图像检测的方法、装置、设备和计算机存储介质
CN114565812A (zh) 语义分割模型的训练方法、装置和图像的语义分割方法
CN114330588A (zh) 一种图片分类方法、图片分类模型训练方法及相关装置
CN112883818A (zh) 文本图像识别方法、系统、设备及存储介质
CN115205855A (zh) 融合多尺度语义信息的车辆目标识别方法、装置及设备
CN109934185B (zh) 数据处理方法及装置、介质和计算设备
CN113223011A (zh) 基于引导网络和全连接条件随机场的小样本图像分割方法
CN109960745B (zh) 视频分类处理方法及装置、存储介质和电子设备
CN117218094A (zh) 获取病理图像的特征信息的方法、设备及介质
CN116957024A (zh) 利用神经网络模型进行推理的方法和装置
CN115984640A (zh) 一种基于组合蒸馏技术的目标检测方法、系统和存储介质
CN113762017B (zh) 一种动作识别方法、装置、设备及存储介质
CN112801960A (zh) 图像处理方法及装置、存储介质、电子设备
CN113469204A (zh) 数据处理方法、装置、设备和计算机存储介质
CN111382796A (zh) 图像特征的提取方法、装置、设备及存储介质
CN115587185B (zh) 文本分类方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination