CN111815606A - 图像质量评估方法、存储介质及计算装置 - Google Patents
图像质量评估方法、存储介质及计算装置 Download PDFInfo
- Publication number
- CN111815606A CN111815606A CN202010658472.1A CN202010658472A CN111815606A CN 111815606 A CN111815606 A CN 111815606A CN 202010658472 A CN202010658472 A CN 202010658472A CN 111815606 A CN111815606 A CN 111815606A
- Authority
- CN
- China
- Prior art keywords
- image
- main body
- subject
- map
- feature map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请属于图像识别技术领域,特别是涉及图像质量评估方法、存储介质及计算装置,图像质量评估方法,包括:获取图像,图像包含图像主体;提取图像的像素特征,获得特征图;将特征图输入主体空间注意力模型,获得空间注意力图;将空间注意力图与特征图进行融合,以获得凸显图像主体的主体特征图;将主体特征图进行至少一次卷积运算,以获得主体图像质量属性,主体图像质量属性包括图像成像质量和图像内容质量;按照预设评分规则,对主体图像质量属性进行评分,获得主体图像评分。本申请实施例的图像质量评估方法降低对计算资源的浪费,提升图像质量评估的准确度。
Description
技术领域
本申请属于图像识别技术领域,特别是涉及图像质量评估方法、存储介质及计算装置。
背景技术
随着社会的发展,技术的进步,近年来智慧城市和公共安全等众多领域对智能化的需求不断扩大,视频监控是智慧城市和公共安全领域的主要信息来源之一,监控视频数据的分析处理需要大量的计算资源,不断增多的监控设备对现有计算能力带来了巨大的考验和压力。通过有效的方法对视频、图像等数据进行筛选后再进一步进行详细处理分析,可以显著降低视频分析处理的整体计算资源需求,通过引入图像质量评估进行视频图像的筛选是其中一种有效的方法。然而,当前现有的图像质量评估方法所占用的计算资源较多,图像质量评估的准确度较低。
发明内容
本申请主要解决的技术问题是如何降低图像质量评估所占用的计算机资源,提高图像质量评估的准确度,提供图像质量评估方法、存储介质及计算装置。
为解决上述技术问题,本申请采用的一个技术方案是:提供一种图像质量评估方法,包括:
获取图像,图像包含图像主体;
提取图像的像素特征,获得特征图;
将特征图输入主体空间注意力模型,获得空间注意力图;
将空间注意力图与特征图进行融合,以获得凸显图像主体的主体特征图;
将主体特征图进行至少一次卷积运算,以获得主体图像质量属性,主体图像质量属性包括图像成像质量和图像内容质量;
按照预设评分规则,对主体图像质量属性进行评分,获得主体图像评分。
其中,将空间注意力图与特征图进行融合,以获得凸显主体的主体特征图之后,包括:
将主体特征图输入至少一个主体子部分空间注意力模型,获取至少一个主体子部分空间注意力图,并融合,获得凸显主体子部分的主体子部分特征图;
将主体子部分特征图进行至少一次卷积运算,以获得主体子部分图像质量属性;
按照预设评分规则,将主体图像质量属性进行评分,获得主体图像评分包括:
按照预设评分规则,对主体图像质量属性和主体子部分图像质量属性进行评分,分别获得主体图像评分和子部分图像评分;
根据主体图像评分和子部分图像评分获得图像最终评分。
其中,将主体特征图输入至少一个主体子部分空间注意力模型,获取至少一个主体子部分空间注意力图包括:
将主体特征图进行至少一次卷积运算,以获得运算后的主体特征图;
将运算后的主体特征图输入至少一个主体子部分空间注意力模型,获取至少一个主体子部分空间注意力图。
其中,将空间注意力图与特征图进行融合包括:将空间注意力图与特征图相乘。
其中,质量评估方法还包括:
建立空间注意力模型,建立空间注意力模型包括:
获取预设图像及与预设图像相关的标注信息,预设图像包含预设图像主体,标注信息包括图像的成像质量和图像的内容质量;
将预设图像输入空间注意模型,输出预设图像的预测结果;
比较预测结果与标注信息,以训练空间注意力模型,使得预测结果与标注信息趋于一致。
其中,比较预测结果与标注信息,以训练空间注意模型,使得预测结果与标注信息趋于一致,包括:
比较预测结果与标注信息,基于损失函数计算损失值;
通过梯度下降法训练空间注意力模型,使得损失值最小。
其中,图像成像质量包括图像亮度和/或图像清晰度;
图像内容质量包括图像主体或图像主体子部分是否截断、和/或是否遮挡。
其中,提取图像的像素特征,获得特征图,包括:
图像经过缩放预处理,以获得预处理图像,使得预处理图像与注意力模型相匹配的尺寸,
提取预处理图像的像素特征,获得特征图。
本申请还包括第四种技术方案,一种存储介质,存储介质内部存储有计算机程序,计算机程序用于被执行以实上述的图像质量评估方法。
本申请还包括第四种技术方案,一种计算装置,包括至少一个处理单元和至少一个存储单元,存储单元存储有计算机程序,当程序被处理单元执行时,使得处理单元执行上述图像质量评估方法的步骤。
本申请的有益效果是:区别于现有技术的情况,本申请实施例的图像质量评估方法通过利用主体空间注意力模型,以将图像主体凸显,在图像质量评估时,可以着重对图像主体评估,降低对背景的运算量,从而可以使得图像质量评估中降低对计算资源的浪费,提升对主要区域的关注,从而提升图像质量评估的准确度。本申请实施例中,在图像质量评估时,一方面考虑图像成像质量,另一方面考虑图像内容质量,可以使得图像评估更佳准确客观,使得图像质量评估满足应用场景。
附图说明
图1是本申请图像质量评估方法一实施例的步骤示意图;
图2是本申请图像质量评估方法另一实施例的结构示意图;
图3是本申请图像质量评估方法再一实施例的步骤示意图;
图4是本申请建立空间注意力模型一实施例的步骤示意图;
图5是本申请图像质量评估系统拓扑结构一实施例的示意图;
图6是本申请计算机存储介质一实施例的结构框图;
图7是本申请计算装置一实施例的结构框图。
具体实施方式
为使本申请的目的、技术方案及效果更加清楚、明确,以下参照附图并举实施例对本申请进一步详细说明。
现有技术中的图像质量评估方法多为针对图像整体质量进行评估,整体图像质量评估将图像中所有区域等同处理,一方面浪费了计算资源,另一方面也对图像中主体目标的细节关注度不够,降低了图像质量评估的准确度。现有技术中的图像质量评估方法中,仅对图像的成像质量进行评估,然而仅对成像质量评估时,易造成评估出的较优的图像并不一定满足应用场景的需求,造成影响图像质量评估的准确性。
如图1所示,本申请实施例提供一种图像质量评估方法,包括:
步骤100:获取图像,图像包含图像主体。
本申请实施例中,图像可以来自于监控视频中的某一帧的图像,在其他实施例中,图像也可以来自于拍照装置所拍摄出的图像。本申请实施例中,图像包含图像主体,图像主体是指图像中的主要目标,如行人检测中的行人即为主体,在其他实施例中,主体可以是猫、狗、猪等动物,也可以是汽车。
步骤200:提取图像的像素特征,获得特征图702(见图5)。
本申请实施例中,如图5所示,将图像输入卷积神经网络一701,卷积神经网络一701包括一个或多个卷积层、激活层、池化层和全连接层,使得图像经过一系列的卷积层、激活层、池化层和全连接层等运算,生成特征图702。
步骤300:将特征图702输入主体空间注意力模型703,获得空间注意力图704。
图像中一般包括图像主体和背景,特征图702中也包含了图像主体和背景的像素特征,本申请实施例中,主体空间注意力模型703中可以将图像主体从背景中凸显,获得空间注意力图704。本申请实施例中,通过将图像主体凸显,在图像质量评估时,可以着重对图像主体评估,降低对背景的运算量,从而可以使得图像质量评估中降低对计算资源的浪费。
步骤400:将空间注意力图704与特征图702进行融合,以获得凸显图像主体的主体特征图705。
本申请实施例中,作为优选方案,如图5所示,将空间注意力图704与特征图702相乘,以获得凸显图像主体的主体特征图705。
步骤500:将主体特征图705进行至少一次卷积运算,以获得主体图像质量属性709,主体图像质量属性709包括图像成像质量和图像内容质量。
本申请实施例中,将主体特征图705进行一次、两次或多次卷积运算,利用卷积运算对主体特征图705进行特征提取,可以得到主体图像质量属性709,以达到评估图像主体的目的。具体地,本申请实施例中,主体特征图705经过两次卷积运算,主体特征图705输入至卷积申请网络二706中经过第一次卷积运算获得运算后的主体特征图707,运算后的主体特征图707输入至卷积神经网络三708进行第二次卷积运算,获得两次运算后的主体特征图,其中两次运算后的主体特征图包括主体图像质量属性709。在其他实施例中,主体特征图705可以进行一次卷积运算或多次卷积运算。
本申请实施例中,主体图像质量属性709同时包括图像成像质量和图像内容质量,其中图像成像质量是图像质量的重要指标,而图像内容质量决定了最终决定了图像主体是否为优质符合需求的图像。
具体地,本申请实施例中,图像成像质量包括图像亮度和/或图像清晰度,其中,图像的清晰度是衡量图像质量优劣的重要指标,它能够较好的与人的主观感受相对应,图像的清晰度主要受到对比度、亮度、色调、边界、模糊和噪声的影响,图像的清晰度不高表现出图像较为模糊。图像的亮度也是影响图像成像效果的一个重要影响参数。
本申请实施例中,图像内容质量包括图像主体是否截断和/或是否遮挡。判断图像主体(目标整体)是否出现截断或/和是否被遮挡,出现影响图像主体的整体显示。
步骤600:按照预设评分规则,对主体图像质量属性709进行评分,获得主体图像评分。
本申请实施例中,预设评分规则基于不同的应用情况,可以设定不同的评分策略,以满足应用情况的需求。根据预设的评分规则对主体图像质量属性709进行评分,从而可以主体图像评分,使得根据可以主体图像评分的高低选择优选的图像,以便于筛选符合应用情况的主体图像。
以上为本申请实施例的核心发明内容,本申请实施例中,通过利用主体空间注意力模型703,以将图像主体凸显,在图像质量评估时,可以着重对图像主体评估,降低对背景的运算量,从而可以使得图像质量评估中降低对计算资源的浪费,提高对主要区域的关注,提升图像质量评估的准确度。本申请实施例中,在图像质量评估时,一方面考虑图像成像质量,另一方面考虑图像内容质量,可以使得图像评估更佳准确客观,使得图像质量评估满足应用场景。
作为本申请实施例一优选方案,步骤200的提取图像的像素特征,获得特征图702,包括:
图像经过缩放预处理,以获得预处理图像,使得预处理图像与注意力模型相匹配的尺寸;提取预处理图像的像素特征,获得特征图702。通过将图像进行缩放预处理,使得图像大小尺寸与注意力模型相匹配,以便于对图像输入至注意力模型中将目标主体凸显出来。本申请实施例中,注意力模型包括主体空间注意力模型和主体子部分空间注意力模型。
为了使得图像质量的评估更加详尽,使得图像质量评估更加细化,如图2和图5所示,在本申请一优选实施例中,步骤400将空间注意力图704与特征图702进行融合,以获得凸显主体的主体特征图705之后,包括:
步骤500a:将主体特征图705输入至少一个主体子部分空间注意力模型,获取至少一个主体子部分空间注意力图,并融合,获得凸显主体子部分的主体子部分特征图。
本申请实施例中,可以将目标主体划分为一个、两个或多个子部分,例如,目标主体是行人,行人可以划分成头部、上半身、下半身、脚部等子部分。本申请实施例中,可以通过凸显目标主体的子部分,以便于对目标主体的各组成部分进行评估,使得评估更加详尽。
具体地,本申请实施例中,将主体特征图705输入两个主体子部分空间注意力模型,获取两个主体子部分空间注意力图。为了便于区分,本申请实施例中将两个主体子部分空间注意力模型分别命名为第一主体子部分空间注意力模型710和第二主体子部分空间注意力模型715,其中,第一主体子部分空间注意力模型710能够凸显图像中行人的头部,第二主体子部分空间注意力模型715能够凸显图像中行人的脚部。将主体特征图705输入第一主体子部分空间注意力模型710,获得第一主体子部分空间注意力图711,将第一主体子部分空间注意力图711与主体特征图705融合,获得图像主体子部分的第一主体子部分特征图712;将主体特征图705输入第二主体子部分空间注意力模型715,获得第二主体子部分空间注意力图716,将第二主体子部分空间注意力图716与主体特征图705融合,获得图像主体子部分的第二主体子部分特征图717。在其他实施例中,主体特征图705可以仅输入至一个主体子部分空间注意力模型、也可以输入至多个主体子部分空间注意力模型。
步骤510a:将主体子部分特征图进行至少一次卷积运算,以获得主体子部分图像质量属性。
本申请实施例中,主体子部分特征图进行一次卷积运算,以获得主体子部分图像质量属性。在其他实施例中,也可进行两次或多次卷积运算,以获得主体子部分图像质量属性。具体地,本申请实施例中,将第一主体子部分特征图712输入卷积神经网络四713进行一次卷积运算,以获得第一主体子部分图像质量属性714;将第二主体子部分特征图717输入卷积神经网络五718进行一次卷积运算,以获得第二主体子部分图像质量属性719。
步骤600中的按照预设评分规则,将主体图像质量属性709进行评分,获得主体图像评分包括:
步骤610:按照预设评分规则,对主体图像质量属性709和主体子部分图像质量属性进行评分,分别获得主体图像评分和子部分图像评分。
本申请实施例中,通过主体图像质量属性709获得主体图像评分。通过主体子部分图像质量属性进行评分,获得子部分图像评分;其中,主体子部分图像质量属性包括主体子部分图像成像质量和主体子部分图像内容质量,图像成像质量包括图像亮度和/或图像清晰度,其中,图像的清晰度是衡量图像质量优劣的重要指标,它能够较好的与人的主观感受相对应,图像的清晰度主要受到对比度、亮度、色调、边界、模糊和噪声的影响,图像的清晰度不高表现出图像较为模糊。图像的亮度也是影响图像成像效果的一个重要影响参数。主体子部分图像内容质量包括图像主体子部分是否截断和/或是否遮挡。判断若干个图像主体子部分中是否有某一个或两个以上图像主体子部分是否被截断和/或是否遮挡。通过主体子部分图像质量属性进行评分,例如,行人的头部图像是否清晰、亮度是否符合较高,头部图像是否被截断或被遮挡,参考以上信息根据预设评分规则,可以获得头部图像的评分。再如,行人的脚步图像是否清晰、亮度是否符合较高,脚部图像是否被截断或被遮挡,参考以上信息根据预设评分规则,可以获得脚部图像的评分。
步骤620:根据主体图像评分和子部分图像评分获得图像最终评分。
本申请实施例中,根据主体图像评分和子部分图像评分,根据应用场景、应用情况的不同,设定不同的最终评分策略,获得图像最终评分。例如,应用场景中是需要获得目标主体的整体图像,则主体图像评分在图像最终评分中所占的比例较大;若只需要观察行人的头部特征,则子部分图像评分中的头部图像评分在图像最终评分中所占的比例较大。
其中,如图3和5所示,步骤500a中的将主体特征图705输入至少一个主体子部分空间注意力模型,获取至少一个主体子部分空间注意力图包括:
步骤501a:将主体特征图705进行至少一次卷积运算,以获得运算后的主体特征图707。
步骤502a:将运算后的主体特征图707输入至少一个主体子部分空间注意力模型,获取至少一个主体子部分空间注意力图。
通过将主体特征图705进行卷积运算,可以进一步获取深度图像特征,以便于主体子部分空间注意力模型的训练。
本申请实施例中,质量评估方法还包括:
建立空间注意力模型,本申请实施例中,建立空间注意力模型可以发生在图像质量评估方法中步骤100之前,也可以发生在步骤300之前即可。具体地,空间注意力模型包括主体空间注意力模型和主体子部分空间注意力模型,如图4所示,建立空间注意力模型包括:
步骤10:获取预设图像及与预设图像相关的标注信息,预设图像包含预设图像主体,标注信息包括图像的成像质量和图像的内容质量。
具体地,本申请实施例中,标注信息范围包括主体图像质量属性标注值或/和各主体子部分图像质量属性标注值,质量属性包括成像质量和内容质量,图像成像质量包括图像亮度和/或图像清晰度,图像内容质量包括图像主体或/和主体子部分图像是否截断和/或是否遮挡。
本申请实施例中,预设图像为含有目标主体的标准图像,例如,背景色可以是纯色,目标主体清晰、亮度较高、无截断和无遮挡;预设图像相关的标注信息,例如,空间注意力模型是针对图像主体进行训练,标注信息包括主体图像的标注信息,包括主体图像的成像质量和内容质量。
在另一实施例中,空间注意力模型为主体子部分空间注意力模型,预设图像为含有主体的标准图像,例如,背景色可以是纯色,主体子部分清晰、亮度较高、无截断和无遮挡;预设图像相关的标注信息,标注信息包括主体图像的标注信息,包括主体子部分图像的成像质量和内容质量。例如行人的头部图像成像质量和内容质量。
步骤20:将预设图像输入空间注意力模型,输出预设图像的预测结果。
通过将预设图像输入空间注意力模型,利用空间注意力模型输出预设图像的预测结果,预测结构包括预测的质量属性值,具体包括预测的图像成像质量值和图像内容质量值。若空间注意力模型是主体空间注意力模型,则输出的是主体图像质量属性值。若空间注意力模型是主体子部分空间注意力模型,则输出的是主体子部分图像质量属性值。
步骤30:比较预测结果与标注信息,以训练空间注意力模型,使得预测结果与标注信息趋于一致。
通过训练空间注意力模型,以使得预测结果和标注信息趋于一致,使得空间注意力模型将目标主体或目标主体子部分凸显更加准确。
其中,步骤30比较预测结果与标注信息,以训练空间注意模型,使得预测结果与标注信息趋于一致,包括:
步骤31:比较预测结果与标注信息,基于损失函数计算损失值。
步骤32:通过梯度下降法训练空间注意力模型,使得损失值最小。
通过损失函数计算损失值,并通过梯度下降法训练空间注意力模型,使得损失值最小,更新空间注意力模型参数,以达到训练空间注意力模型的效果。
本申请实施例还包括第三种技术方案,如图6所示,一种计算机存储介质800,计算机存储介质800内部存储有计算机程序810,计算机程序用于被执行以实现上述的图像质量评估方法。
基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,也可以通过计算机程序810来指令相关的硬件来完成,计算机程序810可存储于一计算机可读存储介质中,该计算机程序810在被处理器执行时,可实现上述各个方法实施例的步骤。其中,计算机程序810包括计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质可以包括:能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读存储介质不包括电载波信号和电信信号。
本申请还包括第四种技术方案,如图7所示,一种计算装置900,包括至少一个处理单元910和至少一个存储单元920,存储单元920存储有计算机程序,当程序被处理单元910执行时,使得处理单元910执行上述图像质量评估方法的步骤。
所称处理单元910可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理单元910可以是微处理器或者该处理单元910也可以是任何常规的处理器等,处理单元910是监护仪中参数信息项的显示名称设置的控制中心,利用各种接口和线路连接整个监护仪的各个设备部分。
存储单元920可用于存储计算机程序和/或模块,处理单元910通过运行或执行存储在存储单元920内的计算机程序和/或模块,以及调用存储在存储单元920内的数据,实现监护仪中参数信息项的显示名称设置。存储单元920可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据手机的使用所创建的数据等。此外,存储单元920可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
计算机装置900还可以包括一个电源组件被配置为执行计算机设备的电源管理,一个有线或无线网络接口被配置为将设备连接到网络,和一个输入输出(I/O)接口。设备可以操作基于存储在存储器中的操作系统,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM或类似。
以上所述仅为本申请的实施方式,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种图像质量评估方法,其特征在于,包括:
获取图像,所述图像包含图像主体;
提取所述图像的像素特征,获得特征图;
将所述特征图输入主体空间注意力模型,获得空间注意力图;
将所述空间注意力图与所述特征图进行融合,以获得凸显所述图像主体的主体特征图;
将所述主体特征图进行至少一次卷积运算,以获得主体图像质量属性,所述主体图像质量属性包括图像成像质量和图像内容质量;
按照预设评分规则,对所述主体图像质量属性进行评分,获得主体图像评分。
2.根据权利要求1所述的图像质量评估方法,其特征在于,所述将所述空间注意力图与所述特征图进行融合,以获得凸显主体的主体特征图之后,包括:
将所述主体特征图输入至少一个主体子部分空间注意力模型,获取至少一个主体子部分空间注意力图,并融合,获得凸显主体子部分的主体子部分特征图;
将所述主体子部分特征图进行至少一次卷积运算,以获得主体子部分图像质量属性;
所述按照预设评分规则,将所述主体图像质量属性进行评分,获得主体图像评分包括:
按照预设评分规则,对所述主体图像质量属性和主体子部分图像质量属性进行评分,分别获得所述主体图像评分和子部分图像评分;
根据所述主体图像评分和子部分图像评分获得图像最终评分。
3.根据权利要求2所述的图像质量评估方法,其特征在于,
所述将所述主体特征图输入至少一个主体子部分空间注意力模型,获取至少一个主体子部分空间注意力图包括:
将所述主体特征图进行至少一次卷积运算,以获得运算后的主体特征图;
将所述运算后的主体特征图输入至少一个主体子部分空间注意力模型,获取至少一个主体子部分空间注意力图。
4.根据权利要求1所述的图像质量评估方法,其特征在于,
所述将所述空间注意力图与所述特征图进行融合包括:将所述空间注意力图与所述特征图相乘。
5.根据权利要求1所述的图像质量评估方法,其特征在于,所述质量评估方法还包括:
建立空间注意力模型,所述建立空间注意力模型包括:
获取预设图像及与所述预设图像相关的标注信息,所述预设图像包含预设图像主体,所述标注信息包括图像的成像质量和图像的内容质量;
将所述预设图像输入空间注意模型,输出预设图像的预测结果;
比较所述预测结果与标注信息,以训练所述空间注意力模型,使得所述预测结果与标注信息趋于一致。
6.根据权利要求5所述的图像质量评估方法,其特征在于,所述比较所述预测结果与标注信息,以训练所述空间注意模型,使得所述预测结果与标注信息趋于一致,包括:
比较所述预测结果与标注信息,基于损失函数计算损失值;
通过梯度下降法训练空间注意力模型,使得损失值最小。
7.根据权利要求1所述的图像质量评估方法,其特征在于,所述图像成像质量包括图像亮度和/或图像清晰度;
所述图像内容质量包括图像主体或图像主体子部分是否截断、和/或是否遮挡。
8.根据权利要求1所述的图像质量评估方法,其特征在于,所述提取所述图像的像素特征,获得特征图,包括:
所述图像经过缩放预处理,以获得预处理图像,使得所述预处理图像与所述注意力模型相匹配的尺寸,
提取所述预处理图像的像素特征,获得特征图。
9.一种存储介质,其特征在于,所述存储介质内部存储有计算机程序,所述计算机程序用于被执行以实现权利要求1-8任一项所述的图像质量评估方法。
10.一种计算装置,其特征在于,包括至少一个处理单元和至少一个存储单元,所述存储单元存储有计算机程序,当所述程序被所述处理单元执行时,使得所述处理单元执行权例要求1-8任一项所述的图像质量评估方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010658472.1A CN111815606B (zh) | 2020-07-09 | 2020-07-09 | 图像质量评估方法、存储介质及计算装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010658472.1A CN111815606B (zh) | 2020-07-09 | 2020-07-09 | 图像质量评估方法、存储介质及计算装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111815606A true CN111815606A (zh) | 2020-10-23 |
CN111815606B CN111815606B (zh) | 2023-09-01 |
Family
ID=72842210
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010658472.1A Active CN111815606B (zh) | 2020-07-09 | 2020-07-09 | 图像质量评估方法、存储介质及计算装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111815606B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112529845A (zh) * | 2020-11-24 | 2021-03-19 | 浙江大华技术股份有限公司 | 图像质量值确定方法、装置、存储介质及电子装置 |
CN114095728A (zh) * | 2022-01-21 | 2022-02-25 | 浙江大华技术股份有限公司 | 一种端到端的视频压缩方法、装置和计算机可读存储介质 |
CN115187519A (zh) * | 2022-06-21 | 2022-10-14 | 上海市计量测试技术研究院 | 图像质量评价方法、系统及计算机可读介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170358090A1 (en) * | 2016-06-09 | 2017-12-14 | The Penn State Research Foundation | Systems and methods for detection of significant and attractive components in digital images |
WO2018153322A1 (zh) * | 2017-02-23 | 2018-08-30 | 北京市商汤科技开发有限公司 | 关键点检测方法、神经网络训练方法、装置和电子设备 |
CN109146856A (zh) * | 2018-08-02 | 2019-01-04 | 深圳市华付信息技术有限公司 | 图像质量评定方法、装置、计算机设备及存储介质 |
CN109544524A (zh) * | 2018-11-15 | 2019-03-29 | 中共中央办公厅电子科技学院 | 一种基于注意力机制的多属性图像美学评价系统 |
CN110210571A (zh) * | 2019-06-10 | 2019-09-06 | 腾讯科技(深圳)有限公司 | 图像识别方法、装置、计算机设备及计算机可读存储介质 |
CN110458829A (zh) * | 2019-08-13 | 2019-11-15 | 腾讯医疗健康(深圳)有限公司 | 基于人工智能的图像质控方法、装置、设备及存储介质 |
CN110473164A (zh) * | 2019-05-31 | 2019-11-19 | 北京理工大学 | 一种基于注意力机制的图像美学质量评价方法 |
CN110796634A (zh) * | 2019-09-10 | 2020-02-14 | 中国三峡建设管理有限公司 | 大坝状态检测方法、装置、计算机设备和可读存储介质 |
WO2020038254A1 (zh) * | 2018-08-23 | 2020-02-27 | 杭州海康威视数字技术股份有限公司 | 一种用于目标识别的图像处理方法及装置 |
CN111046847A (zh) * | 2019-12-30 | 2020-04-21 | 北京澎思科技有限公司 | 一种视频处理方法、装置、电子设备以及介质 |
-
2020
- 2020-07-09 CN CN202010658472.1A patent/CN111815606B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170358090A1 (en) * | 2016-06-09 | 2017-12-14 | The Penn State Research Foundation | Systems and methods for detection of significant and attractive components in digital images |
WO2018153322A1 (zh) * | 2017-02-23 | 2018-08-30 | 北京市商汤科技开发有限公司 | 关键点检测方法、神经网络训练方法、装置和电子设备 |
CN109146856A (zh) * | 2018-08-02 | 2019-01-04 | 深圳市华付信息技术有限公司 | 图像质量评定方法、装置、计算机设备及存储介质 |
WO2020038254A1 (zh) * | 2018-08-23 | 2020-02-27 | 杭州海康威视数字技术股份有限公司 | 一种用于目标识别的图像处理方法及装置 |
CN109544524A (zh) * | 2018-11-15 | 2019-03-29 | 中共中央办公厅电子科技学院 | 一种基于注意力机制的多属性图像美学评价系统 |
CN110473164A (zh) * | 2019-05-31 | 2019-11-19 | 北京理工大学 | 一种基于注意力机制的图像美学质量评价方法 |
CN110210571A (zh) * | 2019-06-10 | 2019-09-06 | 腾讯科技(深圳)有限公司 | 图像识别方法、装置、计算机设备及计算机可读存储介质 |
CN110458829A (zh) * | 2019-08-13 | 2019-11-15 | 腾讯医疗健康(深圳)有限公司 | 基于人工智能的图像质控方法、装置、设备及存储介质 |
CN110796634A (zh) * | 2019-09-10 | 2020-02-14 | 中国三峡建设管理有限公司 | 大坝状态检测方法、装置、计算机设备和可读存储介质 |
CN111046847A (zh) * | 2019-12-30 | 2020-04-21 | 北京澎思科技有限公司 | 一种视频处理方法、装置、电子设备以及介质 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112529845A (zh) * | 2020-11-24 | 2021-03-19 | 浙江大华技术股份有限公司 | 图像质量值确定方法、装置、存储介质及电子装置 |
CN114095728A (zh) * | 2022-01-21 | 2022-02-25 | 浙江大华技术股份有限公司 | 一种端到端的视频压缩方法、装置和计算机可读存储介质 |
CN114095728B (zh) * | 2022-01-21 | 2022-07-15 | 浙江大华技术股份有限公司 | 一种端到端的视频压缩方法、装置和计算机可读存储介质 |
CN115187519A (zh) * | 2022-06-21 | 2022-10-14 | 上海市计量测试技术研究院 | 图像质量评价方法、系统及计算机可读介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111815606B (zh) | 2023-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112132156B (zh) | 多深度特征融合的图像显著性目标检测方法及系统 | |
CN111815606A (zh) | 图像质量评估方法、存储介质及计算装置 | |
CN112163634A (zh) | 实例分割模型样本筛选方法、装置、计算机设备及介质 | |
EP1596323B1 (en) | Specified object detection apparatus | |
CN111428807A (zh) | 图像处理方法及计算机可读存储介质 | |
CN110705583A (zh) | 细胞检测模型训练方法、装置、计算机设备及存储介质 | |
CN111951280B (zh) | 图像分割方法、装置、设备及存储介质 | |
CN111524137A (zh) | 基于图像识别的细胞识别计数方法、装置和计算机设备 | |
CN110827236B (zh) | 基于神经网络的脑组织分层方法、装置、计算机设备 | |
US11967181B2 (en) | Method and device for retinal image recognition, electronic equipment, and storage medium | |
CN112651979A (zh) | 肺部x光图像分割方法、系统、计算机设备及存储介质 | |
JP7305046B2 (ja) | 画像分類方法及び装置並びに機器 | |
WO2023065503A1 (zh) | 一种面部表情的分类方法和电子设备 | |
CN112949654A (zh) | 图像检测方法及相关装置、设备 | |
CN110838094A (zh) | 病理切片染色风格转换方法和电子设备 | |
CN110473176B (zh) | 图像处理方法及装置、眼底图像处理方法、电子设备 | |
CN112800978A (zh) | 属性识别方法、部位属性提取网络的训练方法和装置 | |
CN109978849B (zh) | 基于数字病理图像的基线细胞确定方法、装置及可读介质 | |
CN111882559A (zh) | Ecg信号的获取方法及装置、存储介质、电子装置 | |
CN110503114B (zh) | 图像特征提取方法、装置、肿瘤识别系统及存储介质 | |
CN112634226B (zh) | 头部ct图像检测装置、方法、电子设备及存储介质 | |
CN116778212A (zh) | 一种图像处理方法及装置 | |
CN112184733A (zh) | 一种宫颈异常细胞检测装置及方法 | |
CN117711580B (zh) | 一种图像处理模型的训练方法及装置 | |
CN115496748B (zh) | 小肠图像的肠段识别方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
EE01 | Entry into force of recordation of patent licensing contract | ||
EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20201023 Assignee: ZHEJIANG DAHUA TECHNOLOGY Co.,Ltd. Assignor: ZHEJIANG DAHUA TECHNOLOGY Co.,Ltd. Contract record no.: X2021330000117 Denomination of invention: Image quality evaluation method, storage medium and computing device License type: Common License Record date: 20210823 |
|
GR01 | Patent grant | ||
GR01 | Patent grant |